Sylph:大数据流计算平台
sylph Stream computing platform for bigdata 项目地址: https://gitcode.com/gh_mirrors/sy/sylph
项目基础介绍
Sylph 是一个基于 SQL 的大数据流计算平台,它使用 SQL 查询来描述计算过程,并通过绑定多个源(输入)/汇(输出)来可视化的开发和部署流式应用。该项目主要由 Java 编程语言实现,同时也使用了 JavaScript、ANTLR、Shell、HTML、Batchfile 和 CSS 等技术。
核心功能
Sylph 的核心功能是通过工作流描述来构建分布式应用。它支持以下几种流计算框架:
- Spark-Streaming (Spark 1.x)
- Structured-Streaming (Spark 2.x)
- Flink Streaming
Sylph 提供了丰富的源/汇支持和灵活的扩展,可以可视化的开发和部署流分析应用,并实现了可视化流应用的生命周期管理。
最近更新的功能
根据项目的最新更新,以下是一些值得关注的新功能或改进:
- 支持了更多的数据源和汇,例如添加了对 Kudu 的支持,使得数据可以更方便的存储到 Kudu 表中。
- 优化了 SQL 解析器,增强了 SQL 语法和函数的支持。
- 增加了对 Gradle 的配置和构建优化,使得项目构建更加高效。
- 改进了项目的文档,提供了更详细的部署和配置指南。
这些更新进一步提升了 Sylph 的易用性和功能性,使其成为大数据流计算领域的有力工具。
sylph Stream computing platform for bigdata 项目地址: https://gitcode.com/gh_mirrors/sy/sylph
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考