使用Modin让Python发挥到极致

Python用pandas 对特定格式进行处理时会很方便，譬如对jmeter性能测试结果进行分析，如果这个数据比较大（几十个G的数据），这时候处理起来就比较费力，需要的内存就比较大了，还可能导致报（memoryerrord的）错，当然数据比较小（几个G内的数据）处理起来还是不错的。

导致这样的问题与Python语言的天生缺陷有关，不能使用多核CPU，所`以就算服务器是多核处理器，在使用Pandas进行数据解析时还是用的服务器中的一个核，为了追求速度充分利用CPU，可以使用Modin库，它可以让你的Pandas运行速度更快。

Modin安装：

在线安装： pip install modin

离线安装： https://github.com/modin-project/modin （离线安装方法请自行百度）

使用方法：

import modin.pandas as pd

示例：

import modin.pandas as pd
 
df = pd.read_csv("my_dataset.csv")

速度提升：

---

原文：https://blog.youkuaiyun.com/moveym/article/details/92596728