本篇文章给大家带来的内容是关于Python并发之PoolExecutor的介绍（附示例），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。
使用多线程（threading）和多进程（multiprocessing）完成常规的并发需求，在启动的时候 start、join 等步骤不能省，复杂的需要还要用 1-2 个队列。
随着需求越来越复杂，如果没有良好的设计和抽象这部分的功能层次，代码量越多调试的难度就越大。
对于需要并发执行、但是对实时性要求不高的任务，我们可以使用 concurrent.futures 包中的 PoolExecutor 类来实现。
这个包提供了两个执行器：线程池执行器 ThreadPoolExecutor 和进程池执行器 ProcessPoolExecutor，两个执行器提供同样的 API。
池的概念主要目的是为了重用：让线程或进程在生命周期内可以多次使用。它减少了创建创建线程和进程的开销，提高了程序性能。重用不是必须的规则，但它是程序员在应用中使用池的主要原因。
池，只有固定个数的线程/进程，通过 max_workers 指定。
任务通过 executor.submit 提交到 executor 的任务队列，返回一个 future 对象。
Future 是常见的一种并发设计模式。
一个Future对象代表了一些尚未就绪（完成）的结果，在「将来」的某个时间就绪了之后就可以获取到这个结果。
任务被调度到各个 workers 中执行。
但是要注意，一个任务一旦被执行，在执行完毕前，会一直占用该 worker！如果 workers 不够用，其他的任务会一直等待！因此 PoolExecutor 不适合实时任务。
import concurrent.futuresimport timefrom itertools import countnumber_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]def evaluate_item(x): for i in count(x): # count 是无限迭代器，会一直递增。 print(f"{x} - {i}") time.sleep(0.01)if __name__ =<div>本文来源gaodai^.ma#com搞#代!码网</div>= "__main__": # 进程池 start_time_2 = time.time() # 使用 with 在离开此代码块时，自动调用 executor.shutdown(wait=true) 释放 executor 资源 with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor: # 将 10 个任务提交给 executor，并收集 futures futures = [executor.submit(evaluate_item, item) for item in number_list] # as_completed 方法等待 futures 中的 future 完成 # 一旦某个 future 完成，as_completed 就立即返回该 future # 这个方法，使每次返回的 future，总是最先完成的 future # 而不是先等待任务 1，再等待任务 2... for future in concurrent.futures.as_completed(futures): print(future.result()) print ("Thread pool execution in " + str(time.time() - start_time_2), "seconds")
上面的代码中，item 为 1 2 3 4 5 的五个任务会一直占用所有的 workers，而 6 7 8 9 10 这五个任务会永远等待！！！
API 详细说明
concurrent.futures 包含三个部分的 API：
PoolExecutor：也就是两个执行器的 API
构造器：主要的参数是 max_workers，用于指定线程池大小（或者说 workers 个数）
submit(fn, *args, **kwargs)：将任务函数 fn 提交到执行器，args 和 kwargs 就是 fn 需要的参数。
返回一个 future，用于获取结果
map(func, *iterables, timeout=None, chunksize=1)：当任务是同一个，只有参数不同时，可以用这个方法代替 submit。iterables 的每个元素对应 func 的一组参数。
返回一个 futures 的迭代器
shutdown(wait=True)：关闭执行器，一般都使用 with 管理器自动关闭。
Future：任务被提交给执行器后，会返回一个 future
转载请注明原文链接：Python并发之PoolExecutor的介绍（附示例）
