进程与线程
想象在学校的一个机房,有固定数量的电脑,老师安排了一个爬虫任务让大家一起完成,每个学生使用一台电脑爬取部分数据,将数据放到一个公共数据库。共同资源就像公共数据库,进程就像每一个学生,每多一个学生,就多一个进程来完成这个任务,机房里的电脑数量就像CPU,所以进程数量是CPU决定的,线程就像学生用一台电脑开多个爬虫,爬虫数量由每台电脑的运行内存决定。
一个CPU可以有多个进程,一个进程有一个或多个线程。
多进程
1、导包
from multiprocessing import Process
2、写两个任务
也就是两个函数
3、创建一个进程
进程名字 = Process(target=函数名字,函数参数传字典或元组,是否守护进程)
4、启动进程
进程名字.start()
5、是否开启进程守护,一般主进程会等待子进程执行完毕后再关闭程序。当我们想程序主进程跑完,直接销毁掉未完成的子进程,关闭程序的话,加上一句代码 :
1.创建进程的时候传参数daemon=True
2.进程名字.daemon=True
6、进程编号
导包os
获取当前进程编号
os.getpid()
获取当前父进程的编号
os.getppid()
代码示例(未开启进程守护)
from multiprocessing import Process import time import os # 一个写作业函数 def homeWork(name, count): for i in range(count): # 打印当前进程编号os.getpid() print("当前进程编号:", os.getpid()) # 打印当前父进程编号os.getppid() print("当前父进程编号:", os.getppid()) print(name, "正在写作业...") time.sleep(0.2) # 一个打游戏函数 def game(name, count): for i in range(count): # 打印当前进程编号os.getpid() print("当前进程编号:", os.getpid()) # 打印当前父进程编号os.getppid() print("当前父进程编号:", os.getppid()) print(name, "正在打游戏...") time.sleep(0.2) if __name__ == '__main__': # 打印当前进程编号os.getpid() print("当前进程编号:", os.getpid()) # 进程1写作业 元组传参 p1 = Process(target=homeWork, args=("进程1", 10)) # 进程2打游戏 字典传参 p2 = Process(target=game, kwargs={"name": "进程2", "count": 10}) # 启动进程 p1.start() p2.start() time.sleep(1) print("主进程结束---------------------------------------------")
未开启线程守护的运行结果:
# 可以看到主进程结束的,其子进程还在继续
当前进程编号: 14972
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
主进程结束———————————————
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进本文来源gao($daima.com搞@代@#码(网程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…
当前进程编号: 5732
当前父进程编号: 14972
进程1 正在写作业…
当前进程编号: 14752
当前父进程编号: 14972
进程2 正在打游戏…