Aegisthus 项目推荐

Aegisthus 项目推荐

aegisthus A Bulk Data Pipeline out of Cassandra 项目地址: https://gitcode.com/gh_mirrors/ae/aegisthus

项目基础介绍和主要编程语言

Aegisthus 是一个由 Netflix 开发的开源项目，主要用于从 Cassandra 数据库中提取大量数据并进行处理。该项目的主要编程语言是 Java，同时也使用了 Groovy 和 Shell 脚本进行辅助开发。

项目核心功能

Aegisthus 的核心功能是实现一个从 Cassandra 数据库中读取 SSTable 格式数据的管道。它提供了一个 Map/Reduce 程序，用于创建 Cassandra 数据列族的压缩快照。通过这个管道，用户可以高效地从 Cassandra 中提取数据，并进行后续的数据处理和分析。

项目最近更新的功能

由于 Aegisthus 项目在 2021 年 3 月 4 日被 Netflix 归档，因此不再有新的更新。然而，在归档之前，项目的主要更新包括：

1. 读取 Commit Log：在归档之前，Aegisthus 已经实现了读取 Cassandra 的 Commit Log 的功能，但在某个提交中被移除。
2. 处理压缩输入文件：项目中包含了处理压缩输入文件的代码，但这些文件目前只能由单个 Mapper 处理。
3. CQL 支持：项目计划添加对 CQL（Cassandra Query Language）的支持，以便用户无需手动添加键和列类型作为作业参数。
4. 输出格式优化：项目讨论了添加 Snappy 压缩输出、更易于下游处理的输出格式，以及支持大行数据的“pivot”格式。

尽管 Aegisthus 已经被归档，但它仍然是一个非常有价值的工具，特别是对于那些需要从 Cassandra 数据库中提取和处理大量数据的用户。

aegisthus A Bulk Data Pipeline out of Cassandra 项目地址: https://gitcode.com/gh_mirrors/ae/aegisthus