tdigest 项目推荐

tdigest 项目推荐

tdigest t-Digest data structure in Python. Useful for percentiles and quantiles, including distributed enviroments like PySpark 项目地址: https://gitcode.com/gh_mirrors/tdi/tdigest

1. 项目基础介绍和主要编程语言

tdigest 是一个用 Python 编写的开源项目，旨在提供一种高效的数据结构，用于在流式或分布式环境中进行百分位数和分位数的估计。该项目由 Cam Davidson-Pilon 开发，并且兼容 Python 2 和 Python 3。

2. 项目的核心功能

tdigest 的核心功能包括：

• 百分位数和分位数估计：能够在流式数据或分布式数据中准确估计百分位数和分位数。
• 分布式环境支持：支持在分布式环境中使用，如 PySpark，能够将两个 t-digest 数据结构相加，非常适合在 MapReduce 设置中使用。
• 序列化支持：可以将 t-digest 数据结构序列化为小于 10kB 的大小，节省存储空间。
• 批量更新：支持对数据进行批量更新，提高处理效率。

3. 项目最近更新的功能

根据项目的最新更新记录，tdigest 最近更新的功能包括：

• 版本 v0.6.0：于 2023 年 5 月 4 日发布，包含了一些性能优化和 bug 修复。
• 压缩功能优化：改进了压缩算法，进一步减少了内存占用，同时保持了估计的准确性。
• API 增强：增加了一些新的 API 方法，如 trimmed_mean，用于计算剔除特定百分位数后的均值。

通过这些更新，tdigest 在性能和功能上都有了显著的提升，使其在处理大规模数据时更加高效和可靠。

tdigest t-Digest data structure in Python. Useful for percentiles and quantiles, including distributed enviroments like PySpark 项目地址: https://gitcode.com/gh_mirrors/tdi/tdigest