最近在使用过往A股数据进行回测的时候,有一种算法需要遍历数据库内所有的A股数据文件并且进行循环计算,一个让人不快的现象是,越到后面,运算的速度越慢。因此我使用了psutil包跟踪程序所占用的内存。
print (u'内存使用:',psutil.Process(os.getpid()).memory_info().rss)
显示发现,随着我对于个股数据的csv文件遍历打开,我的内存占用从最开始的60Mb飙升到了6Gb,然后我电脑就卡死了


python号称智能管理内存,起码在这次的表现中,它是不合格的。对于这一问题的解决方法也很简单,就是每次循环结束之后将循环中用到的变量清理掉或者是赋值为空。
data.clear()
使用了这么简单的一句代码后,内存占比就掉到了100Mb左右并一直保持到程序结束。

和C语言不同,python在使用变量之前并不需要对变量类型进行声明,这也就意味着在python程序运行的不同阶段,同一个变量名所指代的可能是不同的变量类型。
那么这时候的变量名是什么呢?按照我的理解,它是一个指向内存的指针,当我们在py

在处理大规模数据时,发现Python程序内存占用逐渐增加,导致运算速度下降。通过使用psutil监控内存,发现在遍历CSV文件过程中内存从60Mb增至6Gb。解决方案是循环结束后清除或置空变量,以释放内存。理解Python变量是内存地址的指针,每次赋值会分配新内存,而非覆盖旧数据。建议在循环中及时清理列表、字典等数据结构,以防止内存占用过高。
最低0.47元/天 解锁文章
5760

被折叠的 条评论
为什么被折叠?



