Python教程053 多进程3

进程池

多进程是实现并发的手段之一，需要注意的问题是：・一个操作系统不可能无限开启进程，通常有几个核就开几个进程・进程开启过多，效率反而会下降（开启进程是需要占用系统资源的）

例如当被操作对象数目不大时，可以直接利用multiprocessing中的Process动态成生多个进程，十几个还好，但如果是上百个，上千个。。手动的去限制进程数量却又太过繁琐，此时可以发挥进程池的功效。我们就可以通过维护一个进程池Pool来控制进程数目。

Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，就重用进程池中的进程。

构造函数

Pool([processes[, initializer[, initargs[, maxtasksperchild[, context]]]]])
processes:要创建的进程数，如果省略，将默认使用os.cpu_count()的值
initializer：如果初始值设定项不是None，则每个工作进程在启动时都将调用initializer(*initargs)。
initargs：是要传给initializer的参数组
maxtasksperchild：是工作进程在退出并替换为新的工作进程之前可以完成的任务数，用于释放未使用的资源。默认的maxtasksperchild为none，这意味着工作进程将和进程池生命周期一样长。
context：用于指定启动工作进程的上下文。通常使用上下文对象的pool()或multiprocessing.pool()方法创建池。

创建进程池。返回一个进程池（Pool）对象。

方法介绍

apply(func [, args [, kwargs]]):
func表示执行此任务的方法
args、kwds分别表func的位置参数和关键字参数
在一个池工作进程中使用参数args和kwargs来调用func,然后返回结果。需要强调的是：此操作并不会在所有池工作进程中执行func函数。如果要通过不同参数并发地执行func函数，必须从不同线程调用p.apply()函数或者使用p.apply_async()。apply是阻塞。

apply_async(func[, args[, kwds[, callback[, error_callback]]]]):
func表示执行此任务的方法
args、kwds分别表func的位置参数和关键字参数
callback表示一个单参数的方法，当有结果返回时，callback方法会被调用，参数即为任务执行后的结果

在一个池工作进程中使用参数args和kwargs来调用func,然后返回结果。此方法的结果是AsyncResult类的实例，callback是可调用对象，接收输入参数。当func的结果变为可用时，将传递给callback。callback禁止执行任何阻塞操作，否则将接收其他异步操作中的结果。apply_async是异步阻塞的。

close():
关闭进程池，防止进一步操作。如果所有操作持续挂起，它们将在工作进程终止前完成。

join():
等待所有工作进程退出。此方法只能在close()或teminate()之后调用。

其他方法（了解部分）

方法apply_async()和map_async（）的返回值是AsyncResul的实例obj。实例具有以下方法.

obj.get():
返回结果，如果有必要则等待结果到达。timeout是可选的。如果在指定时间内还没有到达，将引发一场。如果远程操作中引发了异常，它将在调用此方法时再次被引发。

ready():
如果调用完成，返回True

successful():
如果调用完成且没有引发异常，返回True，如果在结果就绪之前调用此方法，引发异常

wait([timeout]):
等待结果变为可用。

terminate()：
立即终止所有工作进程，同时不执行任何清理或结束任何挂起工作。如果p被垃圾回收，将自动调用此函数

apply方法与apply_async的区别

apply方法是阻塞的。等待当前子进程执行完毕后，再执行下一个子进程。apply_async是非阻塞的，多个子进程同时执行。

例如：同步调用apply

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


from multiprocessing import Pool
import os,time
def work(n):
    print('子进程 %s 开始' %n)
    print('%s run' %os.getpid())
    time.sleep(2)
    print('子进程 %s 结束' %n)
    return n**2

if __name__ == '__main__':
    print("开始执行主进程")
    p=Pool(3) #进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务
    res_l=[]
    print("开始执行三个子进程")
    for i in range(10):
        res=p.apply(work,args=(i,))
        res_l.append(res)
    print(res_l)
    p.close()
    print("主进程执行结束")

执行以上程序会输出如下结果：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


开始执行主进程
开始执行三个子进程
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
主进程执行结束
15041 run
15041 run
15041 run
15042 run
15042 run
15042 run
15040 run
15040 run
15040 run
15040 run

从上面可以看出，创建了3个进程，PID分别是15040，15041，15042。由于是apply同步调用，所以是依次执行子进程的。先执行15041，再执行15042，最后执行的是15040。

例如，异步调用apply_async

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19


from multiprocessing import Pool
import os,time
def work(n):
    print('%s run' %os.getpid())
    time.sleep(3)
    return n**2

if __name__ == '__main__':
    p=Pool(3) #进程池中从无到有创建三个进程,以后一直是这三个进程在执行任务
    res_l=[]
    for i in range(10):
        res=p.apply_async(work,args=(i,)) #同步运行,阻塞、直到本次任务执行完毕拿到res
        res_l.append(res)
    p.close()
    p.join()
    for res in res_l:
        print(res.get()) #使用get来获取apply_aync的结果,如果是apply,则没有get方法,因为apply是同步执行,立刻获取结果,也根本无需get

#异步apply_async用法：如果使用异步提交的任务，主进程需要使用join，等待进程池内任务都处理完，然后可以用get收集结果，否则，主进程结束，进程池可能还没来得及执行，也就跟着一起结束了

转载请注明本网址。

文章目录

进程池

构造函数

方法介绍

其他方法（了解部分）

apply方法与apply_async的区别