• 欢迎访问搞代码网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站!
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏搞代码吧

Python多进程原理与用法分析

python 搞代码 4年前 (2022-01-07) 28次浏览 已收录 0个评论

这篇文章主要介绍了Python多进程原理与用法,结合实例形式分析了Python多进程原理、开启使用进程、进程队列、进程池等相关概念与使用方法,需要的朋友可以参考下

本文实例讲述了Python多进程原理与用法。分享给大家供大家参考,具体如下:

进程是程序在计算机上的一次执行活动。当你运行一个程序,你就启动了一个进程。显然,程序是死的(静态的),进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是来源gao@!dai!ma.com搞$$代^@码网用于完成操作系统的各种功能的进程就是系统进程,它们就是处于运行状态下的操作系统本身;所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。

开启一个进程

 import multiprocessing,time,os def runtask(): time.sleep(2) print("开启一个进程:%s"%os.getpid()) if __name__ == "__main__": p = multiprocessing.Process(target=runtask,) p.start() 

进程队列

 import multiprocessing def runtask(): q.put([42,"python"]) if __name__ == "__main__": q = multiprocessing.Queue() p = multiprocessing.Process(target=runtask,) p.start() print(q.get())   # 打印结果:[42,"python"] 

pipe管道

返回两个连接对象。代表管道的两端,默认双向通信。

 import multiprocessing def runtask(): conn.send("abc") conn.close() if __name__ == "__main__": conn,pconn = multiprocessing.Pipe() p = multiprocessing.Process() p.start() print(pconn.recv())   # 打印结果:"abc" 

Value、Array

共享内存有两个结构,一个是Value,一个是Array,这两个结构内部都实现了锁机制,因此进程是安全的。

 import multiprocess def runtask(): d.value = 50 for index in range(len(a)): a[index]+=10 if __name__ == "__main__": # 下面的字符"d"、"i"似乎是固定的,换成其他将会报错。求大神解释 d = Value("d",20) a = Array("i",range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join()  # 等待进程执行完毕 print(d.value,a[:])   # 打印结果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19] 

Manager

Python实现多进程之间通信除了Queue(队列)、Pipe(管道)和Value-Array之外,还提供了更高层次的封装。Manager支持的类型非常多,如:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下:

 import multiprocessing def runtask(): d["name"] = "laowang" l.reverse() if __name__ == "__main__": with multiprocessing.Manager() as manager: d = manager.dict() l = manager.list(range(10)) p = multiprocessing.Process(target=runtask,) p.start() p.join()    # 等待进程执行完毕 print(d,l)   # 打印结果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0] 

进程池Pool

Pool 是进程池,进程池能够管理一定的进程,当有空闲进程时,则利用空闲进程完成任务,直到所有任务完成为止

 import multiprocessing def runtask(): pass def callBackTask(arg):     # 回调函数必须要有一个形参,否则将报错 print("执行回调函数",arg) if __name__ == "__main__": pool = multiprocessing.Pool(5)   # 设置进程池最大同时执行进程数 for index in range(20): pool.apply_async(func=runtask,callback=callBackTask)  # 并行的,有回调方法 # pool.apply(func=runtask,)    # 串行的,无回调函数 pool.close()  # 关闭进程池 pool.join()   # #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束 

执行结果:apply方法效果为一个进行接一个进程的执行,而apply_async是同时有5个进程在执行。

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python进程与线程操作技巧总结》、《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

以上就是Python多进程原理与用法分析的详细内容,更多请关注gaodaima搞代码网其它相关文章!


搞代码网(gaodaima.com)提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected],我们会在看到邮件的第一时间内为您处理,或直接联系QQ:872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:Python多进程原理与用法分析

喜欢 (0)
[搞代码]
分享 (0)
发表我的评论
取消评论

表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址