哈喽,大家好,我是开源君,一个资深的互联网玩家,致力于为大家分享各领域优质开源项目。
最近在逛 GitHub 的时候发现一个热门的开源项目StreamX
,这个大数据开源框架真的十分神奇,主要的作用就是让流处理
更简单。
框架标准化了配置、开发、测试、部署、监控、运维的整个过程,并且提供了 Scala/Java 两套 API,最终目的是打造一个一站式大数据平台, 流批一体,湖仓一体的解决方案。
这个框架的开源,在实时处理流域 Apache Spark
和 Apache Flink
真的由是一个伟大的进步。
接下来,开源君,给大家罗列几个核心特点
项目特点
-
一系列开箱即用的connectors
-
在线参数配置
-
多版本flink支持(1.12.x,1.13.x,1.14.x)
-
稳定可靠,诸多公司和组织将 StreamX 用于生产和商业产品中
-
支持火焰图
-
支持任务备份、回滚(配置回滚)
-
支持 Catalog、Hive
-
从任务开发阶段到部署管理全链路支持
这个框架还有很多优秀的功能,大家可以在文末查阅开源项目学习。
Streamx 其实主要由三部分组成
-
streamx-core
-
streamx-pump
-
streamx-console
大家可以看一下框架的架构图
最后,关于这个项目的更多功能,大家自己查阅下开源项目。
python学习
如果你想学习Python,但是找不到学习路径和资源
欢迎加入新的交流【君羊】:905229245
一起探讨编程知识,成为大神,群里还有软件安装包,实战案例、学习资料