亲宝软件园·资讯

展开

python项目运行导致内存越来越大的原因详析

成都—大数据开发工程师—杨洋 人气:0

问题描述:

目前遇到的问题是这样的,爬虫程序部署到K8S服务器上运行,但是会过几个小时之后,程序就会被主动杀掉重启,原因是因为内存过载,超过K8S设置的4G。

程序运行现象分析:

在线下进行程序测试时,未让程序长时间运行(及4-5个小时),程序无异常则直接上测试环境测试,然后部署上线了运行了。

通过线下观察,确实程序使用内存会因为时间而不断增加

增长的速度虽然不是很快,但却是在稳定增加,说明程序中存在内存使用未被释放。

尝试解决:

根据上网提供的方案,

import gc
gc.collect()

无效,该增加还是在增加,说明不是全局的内存使用未被释放,内存回收正常。

通过断点调试,发现,程序在使用代理的时候,内存才会增加

程序每次运行时会去获取一个代理赋值到session的proxies中,程序使用的是多线程,则单位时间内会有大量的代理信息会赋值到session中。

通过注释掉获取代理的这一步,发现确实内存不在继续增加。

原因分析:

Session对象存储特定用户会话所需的属性及配置信息,,存储在Session对象中的变量将不会丢失,而是在整个用户会话中一直存在下去。所以随着时间的推移,session中记录的proxies信息就会越来越多,最终导致内存使用过大,程序被杀。

解决方法:

不使用session进行请求,使用原生requests.get即可。

总结

加载全部内容

相关教程
猜你喜欢
用户评论