肆拾叁- 如何从 Python 手上守住你的内存

本文探讨了Python程序在长期运行中遭遇的内存泄漏问题,分析了Python内存管理机制,并介绍了如何使用gc包进行手动垃圾回收,以避免内存占用过多导致的程序崩溃。
部署运行你感兴趣的模型镜像

0. 引用包

其实我只是引用了一个 gc 的包
只需要

import gc
a = "I'm Berry"
del a
gc.collect()

1. 服务器爆炸了

前期有一个设置好长期运行Python 程序,但总是过一段时间之后,内存就被占满,于是程序崩溃了,数据库崩溃了,除非重启该程序,如下图:
爆掉的内存

2. 为什么!?

服务器上会不断吃内存的程序估计一个是 PM2 托管的 NodeJS 程序,一个是 Supervisor 托管的 Python 程序,于是我决定各停止一段时间,查出是 Python 程序出问题。

3. Python 不会自己释放么?

因为以前的代码均是短期运行,运行一次就整个进程关掉了,所以从来没有注意内存问题
后来发现这个问题已经为时已晚。
一开始以为是数据库链接问题,已经多次研究,优化过后还是不断耗内存
苦思冥想之下,上网一搜,我了个去。
原来这世界上还有一个 Python 包叫做 gc
gc 包的介绍如下:
Python之美[从菜鸟到高手]–Python垃圾回收机制及gc模块详解

4. 代码

如以下这段代码:

    def LoadLatestClf(self):
        self.clfLatestClf = 0
        self.objLatestClfCfg = 0
		# -------清除引用对象,清空内存---------
        del self.clfLatestClf
        del self.objLatestClfCfg
        # ------------------------------------
        gc.collect()
        self.objLatestClfCfg = []
        self.clfLatestClf = []
        curClfCfg = self.objMongoDB.LoadLimitBySort(
            'clfdb', {}, [('lt', -1)], 3)
        for eleCur in curClfCfg:
            self.objLatestClfCfg.append(eleCur)
            self.clfLatestClf.append(joblib.load(
                self.strDirForClf+eleCur['clfFileName']))
		# -------清除引用对象,清空内存---------
        del curClfCfg
        gc.collect()
        # ------------------------------------

针对引用过的迭代器包的引用之类的,如果没有长期存在需求的话都必须清掉,不然内存爆掉的。

5. 效果

世界安静了

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值