modin.pandas 说是可以提升pandas的运行效率(pandas替代方案)

最新推荐文章于 2025-10-19 01:21:42 发布

原创

最新推荐文章于 2025-10-19 01:21:42 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

本文记录了安装和验证modin.pandas以提高pandas运行效率的过程。首先介绍了所需软件包，包括Python 3.7.6、gcc等。接着详细描述了Python的安装步骤，解决_CXXABI_1.3.5错误的方法，以及升级gcc和glibc到对应版本。最后，解决了_pandas的_lzma模块问题，并验证了modin.pandas对大文件处理的加速效果。

最近偶尔看到modin.pandas 能提升效率，最近事情不多就开始验证一下。
1.首先需要的软件包：
   Python-3.7.6.tgz
   gcc-9.1.0.tar.gz
   glibc-2.17.tar.gz
   其他的比如pandas==0.25.3 ， libffi-dev，xz-devel 等等。
2.安装python
首先最开始安装的是python3.8 由于后期安装 modin[ray] Ray 这个库的时候他最新支持python 3.7，
   modin.pandas最新支持pandas=0.25.3 最新的pandas版本已经到1.0以上了。所以还是以3.7.6 来验证。
   python安装：
       tar -zxvf Python-3.7.6.tgz
       ./configure --prefix=/usr/local/python37 LDFLAGS='-L/opt/local/lib -R/opt/local/lib'
       为什么要加 LDFLAGS='-L/opt/local/lib -R/opt/local/lib'
       由于存在多版本的时候，会报出 No module named '_ctypes'需要重新编译，
       yum install libffi-dev 这个安装了有时侯还是汇报，这边是重新编译安装python 成功。
&