python 多线程效率
在一台8核的CentOS上，用python 2.7.6程序执行一段CPU密集型的程序。
import time
def fun(n):#CPU密集型的程序
while(n>0):
n -= 1
start_time = time.time()
fun(10000000)
print('{} s'.format(time.time() - start_time))#测量程序执行时间
测量三次程序的执行时间，平均时间为0.968370994秒。这就是一个线程执行一次fun(10000000)所需要的时间。
下面用两个线程并行来跑这段CPU密集型的程序。
import time
import threading
def fun(n):
while(n>0):
n -= 1
start_time = time.time()
t1 = threading.Thread( target=fun, args=(10000000,) )
t1.start()
t2 = threading.Thread( target=fun, args=(10000000,) )
t2.start()
t1.join()
t2.join()
print('{} s'.format(time.time() - start_time))
测量三次程序的执行时间，平均时间为2.150056044秒。
为什么在8核的机器上，多线程执行时间并不比顺序执行快呢？
再做另一个实验，用下面的命令，把8核cpu中的7个核禁掉。
[xxx]# echo 0 > /sys/devices/system/cpu/cpu1/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu2/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu3/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu4/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu5/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu6/online [xxx]# echo 0 > /sys/devices/system/cpu/cpu7/online
然后在运行这个多线程的程序，三次平均时间为2.533491453秒。为什么多线程程序在多核上跑的时间只比单核快一点点呢？
这就要提到python程序多线程的实现机制了。
Python多线程实现机制
python的多线程机制，就是用C实现的真实系统中的线程。线程完全被操作系统控制。
python内部创建一个线程的步骤是这样的：
- 创建一个数据结构PyThreadState，其中含有一些解释器状态
- 调用pthread创建线程
- 执行线程函数
由于python是解释形动态语言，所以在实现线程时，需要PyThreadState结构来保存一些信息：
- 当前的stack frame (对python代码)
- 当前的递归深度
- 线程ID
- 可选的tracing/profiling/debugging hooks
PyThreadState是C语言实现的一个结构体（摘自[2]）：
typedef struct _ts {
struct _ts *next; # 链表指正
PyInterpreterState *interp; # 解释器状态
struct _frame *frame; # 当前的stack frame
int recursion_depth; # 当前的递归深度
int tracing;
int use_tracing;
Py_tracefunc c_profilefunc;
Py_tracefunc c_tracefunc;
PyObject *c_profileobj;
PyObject *c_traceobj;
PyObject *curexc_type;
PyObject *curexc_value;
PyObject *curexc_traceback;
PyObject *exc_type;
PyObject *exc_value;
PyObject *exc_traceback;
PyObject *dict;
int tick_counter;
int gilstate_counter;
PyObje<em style="color:transparent">本文来源gao.dai.ma.com搞@代*码#网</em>ct *async_exc;
long thread_id; # 线程ID
} PyThreadState;
从目前最新的python源码中来看，这个结构体中的内容已经有所改变，但记录解释器状态的指针PyInterpreterState *interp依然存在。
python解释器实现时，用了一个全局变量(_PyThreadState_Current)
[https://github.com/python/cpython/blob/3.1/Python/pystate.c]（python3.1和之前的代码中都存在，python3.2就有所不同了）
PyThreadState *_PyThreadState_Current = NULL;
搞代码网（gaodaima.com）提供的所有资源部分来自互联网，如果有侵犯您的版权或其他权益，请说明详细缘由并提供版权或权益证明然后发送到邮箱[email protected]，我们会在看到邮件的第一时间内为您处理，或直接联系QQ：872152909。本网站采用BY-NC-SA协议进行授权
转载请注明原文链接：深入学习python多线程与GIL
转载请注明原文链接：深入学习python多线程与GIL
