- 博客(16)
- 收藏
- 关注
RSS订阅原创 从源码看 Flink keyBy 的状态恢复与分发逻辑
到此为止，状态恢复的原理就是这么一个过程。后期在flink1.19的专栏文章里面也会再次更新对应的文章，可能会更加详细。如有不正确的地方欢迎指出，我们一起学习进步！
2025-02-02 16:24:29
755
1
原创 01-DataStream 底层实现原理
本篇主要是Flink专栏篇的第一篇，内容可能和之前的分享文章多少有些冲突，但是不要紧温故而知新，主要本篇是属于一个专栏的文章。本篇主要是讲解一下DataStream的简单实现过程，也就是环境初始化，Source部分，Sink部分，如官方的图所示，DataStream已经是flink的最底层了，sql最终也是通过calcite解析为DataStreamapi从而运行。所以理解好DataStream是关键。能力有限，只是抛砖引玉，共同进步！
2025-01-19 16:08:59
1063
原创 hadoop集群安装前准备
最近在研究flink源代码，部署的时候想基于yarn模式去部署。但是目前没有部署环境，所以决定自己通过虚拟机搭建一个hadoop集群，用来部署flink使用。目的还是为了学习flink，本次集群不作为正式环境使用，仅个人玩耍。
2024-11-19 15:15:17
1042
原创 本地编译启动StandaloneSessionCluster之JobManager
本地ide中编译flink1.19，然后启动jobmanager
2024-10-30 19:14:52
327
原创 flink源码跟读：on yarn application模式作业提交
很多细节自己还是没有把握，所以后期还是会把细节的东西研究清楚一下，比方说：选举过程细节。后期也会针对选举这一块整理一篇文章出来。。研究优秀的源代码也是发现自己不足的地方，很多时候写着写着发现了自己哪里不懂，就去查资料研究，一层一层的，感觉太多东西需要学习了。
2024-09-29 14:20:30
1338
原创 streamx如何支持我司线上实时作业
导读：本文主要带来 streamx 在我司中实时任务的应用。本文通过一下几个点展开：streamx 调研及部署 streamx sql作业开发 streamx custom code作业开发 streamx 监控 streamx 作业的任务问题定位 1streamx 调研及部署...
2022-02-25 18:51:35
1781
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人