Python多進(jìn)程通信Queue、Pipe、Value、Array實(shí)例

queue和pipe的區(qū)別： pipe用來(lái)在兩個(gè)進(jìn)程間通信。queue用來(lái)在多個(gè)進(jìn)程間實(shí)現(xiàn)通信。 此兩種方法為所有系統(tǒng)多進(jìn)程通信的基本方法，幾乎所有的語(yǔ)言都支持此兩種方法。

1）Queue & JoinableQueue

queue用來(lái)在進(jìn)程間傳遞消息，任何可以pickle-able的對(duì)象都可以在加入到queue。

multiprocessing.JoinableQueue 是 Queue的子類，增加了task_done()和join()方法。

task_done()用來(lái)告訴queue一個(gè)task完成。一般地在調(diào)用get()獲得一個(gè)task，在task結(jié)束后調(diào)用task_done()來(lái)通知Queue當(dāng)前task完成。

join() 阻塞直到queue中的所有的task都被處理（即task_done方法被調(diào)用）。

代碼：

代碼如下:

import multiprocessing
import time

class Consumer(multiprocessing.Process):

def __init__(self, task_queue, result_queue):
multiprocessing.Process.__init__(self)
self.task_queue = task_queue
self.result_queue = result_queue

def run(self):
proc_name = self.name
while True:
next_task = self.task_queue.get()
if next_task is None:
# Poison pill means shutdown
print ('%s: Exiting' % proc_name)
self.task_queue.task_done()
break
print ('%s: %s' % (proc_name, next_task))
answer = next_task() # __call__()
self.task_queue.task_done()
self.result_queue.put(answer)
return

class Task(object):
def __init__(self, a, b):
self.a = a
self.b = b
def __call__(self):
time.sleep(0.1) # pretend to take some time to do the work
return '%s * %s = %s' % (self.a, self.b, self.a * self.b)
def __str__(self):
return '%s * %s' % (self.a, self.b)

if __name__ == '__main__':
# Establish communication queues
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()

# Start consumers
num_consumers = multiprocessing.cpu_count()
print ('Creating %d consumers' % num_consumers)
consumers = [ Consumer(tasks, results)
for i in range(num_consumers) ]
for w in consumers:
w.start()

# Enqueue jobs
num_jobs = 10
for i in range(num_jobs):
tasks.put(Task(i, i))

# Add a poison pill for each consumer
for i in range(num_consumers):
tasks.put(None)

# Wait for all of the tasks to finish
tasks.join()

# Start printing results
while num_jobs:
result = results.get()
print ('Result:', result)
num_jobs -= 1

注意小技巧： 使用None來(lái)表示task處理完畢。

運(yùn)行結(jié)果：

2）pipe

pipe()返回一對(duì)連接對(duì)象，代表了pipe的兩端。每個(gè)對(duì)象都有send()和recv()方法。

代碼：
代碼如下:

from multiprocessing import Process, Pipe

def f(conn):
conn.send([42, None, 'hello'])
conn.close()

if __name__ == '__main__':
parent_conn, child_conn = Pipe()
p = Process(target=f, args=(child_conn,))
p.start()
p.join()
print(parent_conn.recv()) # prints "[42, None, 'hello']"

3）Value + Array

Value + Array 是python中共享內(nèi)存 映射文件的方法，速度比較快。

代碼如下:

from multiprocessing import Process, Value, Array

def f(n, a):
n.value = n.value + 1
for i in range(len(a)):
a[i] = a[i] * 10

if __name__ == '__main__':
num = Value('i', 1)
arr = Array('i', range(10))

p = Process(target=f, args=(num, arr))
p.start()
p.join()

print(num.value)
print(arr[:])

p2 = Process(target=f, args=(num, arr))
p2.start()
p2.join()

print(num.value)
print(arr[:])

# the output is :
# 2
# [0, 10, 20, 30, 40, 50, 60, 70, 80, 90]
# 3
# [0, 100, 200, 300, 400, 500, 600, 700, 800, 900]

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com