Python内存泄漏和内存溢出的解决方案

一、内存泄漏

像Java程序一样，虽然Python本身也有垃圾回收的功能，但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的，长期运行的后台服务进程来说，如果内存持续增长，那么很可能是有了“内存泄露”。

1、内存泄露的原因

对于 python 这种支持垃圾回收的语言来说，怎么还会有内存泄露？ 概括来说，有以下三种原因：

• 所用到的用 C 语言开发的底层模块中出现了内存泄露。
• 代码中用到了全局的 list、 dict 或其它容器，不停的往这些容器中插入对象，而忘记了在使用完之后进行删除回收
• 代码中有“引用循环”，并且被循环引用的对象定义了__del__方法，就会发生内存泄露。

为什么循环引用的对象定义了__del__方法后collect就不起作用了呢？

gc模块最常使用的方法就是gc.collect()方法，使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言，在使用了del语句的时候解释器首先会看要删除对象的引用计数，如果为0，那么就释放内存并执行del方法。
在这里，首先del语句出现时本身引用计数就不为0（因为有循环引用的存在），所以解释器不释放内存；
再者，执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的，对于这两个循环引用对象而言，
python无法判断调用它们的del方法时会不会要用到对方那个对象，比如在进行b.del()时可能会用到b._a也就是a，如果在那之前a已经被释放，那么就彻底GG了。
为了避免这种情况，collect方法默认不对重载了del方法的循环引用对象进行回收，而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的，自然就不会被collect处理，所以就进入了garbage列表。

2、内存泄露的诊断思路

无论是哪种方式的内存泄露，最终表现的形式都是某些 python 对象在不停的增长；因此，首先是要找到这些异常的对象。

3、诊断步骤

用到的工具： gc 模块和 objgraph 模块

gc模块 是Python的垃圾收集器模块，gc使用标记清除算法回收垃圾

objgraph 是一个用于诊断内存问题的工具

• 1、 在服务程序的循环逻辑中，选择出一个诊断点
• 2、 在诊断点，插入如下诊断语句 　

import gc
import objgraph


### 强制进行垃圾回收 
gc.collect() 

### 打印出对象数目最多的 50 个类型信息 
objgraph.show_most_common_types(limit=50) 

4、检查统计信本文来源gaodai$ma#com搞$代*码网2息，找到异常对象

运行加入诊断语句的服务程序，并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后，就可以来分析日志，看看哪些对象在不停的增长。

比如，排查结果可能是：
一个多线程程序，多个线程作为生产者，一个线程作为消费者，通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度，又没有进行同步， 导致异步队列中的对象越来越多。

二、内存溢出

1、内存溢出原因

1. 内存中加载的数据量过于庞大，如一次从数据库取出过多数据
2. 集合类中有对对象的引用，使用完后未清空，产生了堆积，使得JVM不能回收
3. 代码中存在死循环或循环产生过多重复的对象实体
4. 使用的第三方软件中的BUG
5. 启动参数内存值设定的过小

喜欢 (0)赏

[搞代码]

分享 (0)