在利用Python進(jìn)行系統(tǒng)管理的時候，特別是同時操作多個文件目錄，或者遠(yuǎn)程控制多臺主機(jī)，并行操作可以節(jié)約大量的時間。多進(jìn)程是實(shí)現(xiàn)并發(fā)的手段之一，需要注意的問題是：

1)很明顯需要并發(fā)執(zhí)行的任務(wù)通常要遠(yuǎn)大于核數(shù)

2)一個操作系統(tǒng)不可能無限開啟進(jìn)程，通常有幾個核就開幾個進(jìn)程

3)進(jìn)程開啟過多，效率反而會下降(開啟進(jìn)程是需要占用系統(tǒng)資源的，而且開啟多余核數(shù)目的進(jìn)程也無法做到并行)

例如當(dāng)被操作對象數(shù)目不大時，可以直接利用multiprocessing中的Process動態(tài)成生多個進(jìn)程，十幾個還好，但如果是上百個，上千個。。。手動的去限制進(jìn)程數(shù)量卻又太過繁瑣，此時可以發(fā)揮進(jìn)程池的功效。

我們就可以通過維護(hù)一個進(jìn)程池來控制進(jìn)程數(shù)目，比如httpd的進(jìn)程模式，規(guī)定最小進(jìn)程數(shù)和最大進(jìn)程數(shù)...

對于遠(yuǎn)程過程調(diào)用的高級應(yīng)用程序而言，應(yīng)該使用進(jìn)程池，Pool可以提供指定數(shù)量的進(jìn)程，供用戶調(diào)用，當(dāng)有新的請求提交到pool中時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程用來執(zhí)行該請求;但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值，那么該請求就會等待，直到池中有進(jìn)程結(jié)束，就重用進(jìn)程池中的進(jìn)程。

創(chuàng)建進(jìn)程池的類：如果指定numprocess為3，則進(jìn)程池會從無到有創(chuàng)建三個進(jìn)程，然后自始至終使用這三個進(jìn)程去執(zhí)行所有任務(wù)，不會開啟其他進(jìn)程

1Pool([numprocess[,initializer[,initargs]]]):創(chuàng)建進(jìn)程池

參數(shù)介紹：

1numprocess:要創(chuàng)建的進(jìn)程數(shù)，如果省略，將默認(rèn)使用cpu_count()的值

2initializer：是每個工作進(jìn)程啟動時要執(zhí)行的可調(diào)用對象，默認(rèn)為None

3initargs：是要傳給initializer的參數(shù)組

主要方法：

1p.apply(func[,args[,kwargs]])

在一個池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

需要強(qiáng)調(diào)的是：此操作并不會在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過不同參數(shù)并發(fā)地執(zhí)行func函數(shù)，必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()

2p.apply_async(func[,args[,kwargs]]):

在一個池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

此方法的結(jié)果是AsyncResult類的實(shí)例，callback是可調(diào)用對象，接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r，

將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作，否則將接收其他異步操作中的結(jié)果。

3p.close():關(guān)閉進(jìn)程池，防止進(jìn)一步操作。如果所有操作持續(xù)掛起，它們將在工作進(jìn)程終止前完成

4P.jion():等待所有工作進(jìn)程退出。此方法只能在close()或teminate()之后調(diào)用

應(yīng)用

同步調(diào)用applay

異步調(diào)用apply_async

apply_async與apply詳解

使用進(jìn)程池維護(hù)固定數(shù)目的進(jìn)程

server端

客戶端

發(fā)現(xiàn)：并發(fā)開啟多個客戶端，服務(wù)端同一時間只有3個不同的pid，干掉一個客戶端，另外一個客戶端才會進(jìn)來，被3個進(jìn)程之一處理

回掉函數(shù)：

需要回調(diào)函數(shù)的場景：進(jìn)程池中任何一個任務(wù)一旦處理完了，就立即告知主進(jìn)程：我好了額，你可以處理我的結(jié)果了。主進(jìn)程則調(diào)用一個函數(shù)去處理該結(jié)果，該函數(shù)即回調(diào)函數(shù)

我們可以把耗時間(阻塞)的任務(wù)放到進(jìn)程池中，然后指定回調(diào)函數(shù)(主進(jìn)程負(fù)責(zé)執(zhí)行)，這樣主進(jìn)程在執(zhí)行回調(diào)函數(shù)時就省去了I/O的過程，直接拿到的是任務(wù)的結(jié)果。

以上內(nèi)容為大家介紹了python進(jìn)程池，希望對大家有所幫助，如果想要了解更多Python相關(guān)知識，請關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。