Pandarallel：简单高效的Pandas并行处理工具

Pandarallel：简单高效的Pandas并行处理工具

pandarallel A simple and efficient tool to parallelize Pandas operations on all available CPUs 项目地址: https://gitcode.com/gh_mirrors/pa/pandarallel

Pandarallel 是一个开源项目，旨在通过并行化操作，帮助开发者充分利用所有CPU核心，从而加速Pandas的数据处理任务。该项目主要使用 Python 编程语言开发。

项目基础介绍

Pandarallel 提供了一种简单的方式来并行化Pandas操作，仅需更改一行代码即可实现。此外，它还能显示进度条，让用户清楚地知道当前任务的进度。该项目目前由 Manu NALEPA 维护，并且正在寻找新的维护者。它遵循BSD-3-Clause许可证开源。

核心功能

• 并行化处理：Pandarallel 通过改变一行代码，将标准的Pandas apply 函数替换为 parallel_apply，从而实现并行化处理。
• 进度条显示：在并行处理过程中，Pandarallel 会显示进度条，方便用户跟踪任务进度。
• 简单易用：用户无需对现有代码进行大规模修改，只需简单替换即可。

最近更新的功能

根据最新的项目更新，以下是一些最近添加的功能：

• 环境变量覆盖：增加了能够通过环境变量覆盖默认的 MEMORY_FS_ROOT 设置的能力，这为用户提供了更多的灵活性。
• 兼容性更新：更新了项目以兼容最新的Pandas版本（包括Pandas 2.0），并修复了一些在 DataFrame groupby 操作中可能出现的问题。

这些更新使得 Pandarallel 在保持高效性和易用性的同时，也提高了其稳定性和兼容性。

pandarallel A simple and efficient tool to parallelize Pandas operations on all available CPUs 项目地址: https://gitcode.com/gh_mirrors/pa/pandarallel