Flink源码阅读(一)源码环境搭建

最新推荐文章于 2025-10-09 18:59:40 发布
原创 最新推荐文章于 2025-10-09 18:59:40 发布 · 4.4k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文从引言开始，介绍了Flink Standalone模式源码环境的搭建过程，包括参考官方文档设置环境，理解JobManager和TaskManager的启动脚本，以及在Eclipse中使用源码调试集群。在遇到的问题中，分享了如何解决缺少日志和启动报错的情况，并提供了源码编译的相关链接。

一  引言

         Flink源码本身比较复杂，我打算以Flink的Standalone模式为入口，研究当一个jar包被提交进Flink后,flink如何处理的过程。

二  环境搭建

         搭建过程可以参考官方文档

         https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/deployment/cluster_setup.htm

         启动  JobManager:         bin/jobmanager.sh start

         启动 TaskManager:        bin/taskmanager.sh start

         主要关注上面两个脚本,通过阅读脚本,可以知道底层调用的是 flink-daemon.sh，点进去可以发现，主要是下面几个类

如果shell脚本扎实,可以阅读shell脚本,明确知道红圈圈是两个入口类,但如果像我一样，对shell脚本一知半解,可以在启动集群后,使用jps命令也能定位到入口类。

三 源码环境搭建

         知道入口类后,可以抛弃flink提供的二进制发行包,考虑在ecli

最低0.47元/天 解锁文章
Flink源码环境搭建
zhaozhufeng的博客
12-03 591
flink
flink环境搭建
qq_74922407的博客
08-14 3855
6. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量进行配置默认为 1，可根据TaskManager 所在的机器能够提供给 Flink的CPU数量决定。4. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量进行配置默认为1，可根据TaskManager 所在的机器能够提供给 Flink的CPU数量决定。
flink源码分析.pdf
09-17
flink源码解析文档分析，一起学习
flink学习教程-原理+实战学习笔记“一步到位”
最新发布
CN_BLUE_L的博客
10-09 1706
参考文献：《Flink原理、实战与性能优化》
Flink 源码阅读环境搭建并调试 Flink-Clients 模块
天道酬勤
01-28 2350
本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码 读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。 关键是看你的目的是什么，如果你想了解思想，经验等看文档就够了，因为文档是人写给人的；如果你想了解具体细节，那应该去看源码，因为源码
Apache Flink源码阅读环境搭建
终回首的博客
09-27 981
目录1 下载源码2 编译打包3 导入项目4 debug 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # flink是用branch区分不同版本的，切换到目标版本 git checkout -b release1.13 remotes/origin/release-1.13 2 编译打包 在项目根目录打开Git Bash 运行如下命令 # 设置大一点的内存，防止内存溢出 export MAVEN_OPTS="-Xmx2g -XX:
Flink源码阅读环境准备全攻略：搭建高效探索的基石
qq_42773076的博客
06-22 993
本文详细介绍了搭建Flink源码阅读环境的完整流程。首先配置JDK和Maven基础环境，推荐使用IntelliJ IDEA作为开发工具；其次通过Git获取Flink源码并导入IDEA；然后进行项目编译和调试配置，包括设置断点和参数；最后针对常见问题提供解决方案。这套环境能有效支持Flink底层原理的深入研究和调试工作，为开发者探索Flink核心机制打下坚实基础。
【Flink入门修炼】1-2 Mac 搭建 Flink 源码阅读环境
笨鸟先飞的博客
02-06 1433
在后面学习 Flink 相关知识时，会深入源码探究其实现机制。因此，需要现在本地配置好源码阅读环境。 本文搭建环境： ● Mac M1（Apple Silicon） ● Java 8 ● IDEA ● Flink 官方源码
flink源码如何进行调试和编译
yjq125931902的博客
11-05 1417
在大数据处理领域，Apache Flink凭借其强大的流处理能力和高性能备受青睐。然而，对于许多开发者而言，调试和编译Flink源码却是一个不小的挑战。尤其是在使用IntelliJ IDEA 2018这样的集成开发环境时，如何高效地进行这些操作呢？本文将带你一步步掌握Flink源码的调试和编译方法，让你在大数据开发的道路上更加得心应手。
Flink源码阅读-教你阅读Flink 源码
lifei913的博客
08-29 1044
本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码 读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。 关键是看你的目的是什么，如果你想了解思想，经验等看文档就够了，因为文档是人写给人的；如果你想了解具体细节，那应该去看源码，因为源码
Flink 源码阅读 Client 实现原理与源码解析
天道酬勤
02-04 568
一、我们本次的目的是什么？ 这次我们的目的是，在本地的 IDEA 中去 debug flink-clients 代码，然后远程提交给 flink standalone 集群上去执行，看一看 flink 客户端在提交代码之前都干了什么。 就像下面这样： 很简单是不是，瞬间自信心爆棚！在开始之前，我想要提两个发人深省的问题，你平时一定没有考虑过： 问题 1：用户代码如何变成 DAG 图 DataStream<Tuple2<String, Integer>> counts = t.
Flink - 源码阅读笔记(RPC 详解)
qq_34735235的博客
01-11 1196
大数据技术栈中的技术组件非常丰富，大致总结一下各大常见组件的 RPC 实现技术： 技术组件 RPC 实现 Hadoop NIO + Protobuf HBase HBase-2.x 以前：NIO + ProtoBuf HBase-2.x 以后：Netty ZooKeeper BIO + NIO + Netty Spark Spark-1.x 基于 Akka Spark-2.x 基于 Netty Flink
flink基础篇-开发flink，必备的环境搭建
程序员ZZ的源码
04-04 803
flink的安装，以及第一个demo
手把手教你阅读Flink 源码
u011250186的博客
04-05 191
手把手教你阅读Flink 源码
Flink 1.14 源码阅读
Jhon_yh的博客
04-28 2390
目录env.execute("test Flink")getStreamGraph()StreamGraphGenerator.generate()transformationsexecute(StreamGraph streamGraph)executeAsync(jobGraph)getExecutor()execute(streamGraph, configuration, userClassloader)deployJobCluster()return deployInternal(deployIn
flink源码阅读环境安装
qq_33009107的博客
07-12 263
环境： flink1.9,scala2.11，maven3.6，java1.8,idea 步骤 一:github下载flink1.9源码 1.执行git clone https://github.com/apache/flink 下载代码 2.进入flink目录，执行git branch -a 查看flink源码分支 3.执行git checkout release-1.9切换到该分支 二.maven 仓库配置（某些仓库可能速度比较慢，或者jar包不全) nexus-aliyun *,!je
flink源码阅读第一篇—入口
ludongguoa的博客
10-26 660
前序 由于最近接触了flink相关项目，封装flink-table模块，这部分模块应该在flink官方1.9x版本进行发布，截止目前还是beta版本，等待最终的release版本发布。在开发期间，出于工作和兴趣的需求，就阅读了部分源码，阅读源码期间也是阅读了很多博客文章，发下文章写错的也比比皆是呀，哎有时也会误导人。先叙述第一篇总体轮廓篇。该篇总体思路是从flink任务提交开始，从本地提交代码逻辑，到服务端如果接收任务，最后运行的不同分支逻辑。了解这部分逻辑，需要一些基础知识，包括yarn, netty最
flink源码阅读（概览）
dianfuwo9488的博客
10-30 224
clone官方1.6.2版本flink，成功编译。（一般PC还真跑不动，我是用服务器编译的） 编译完后，略微修改了一下启动脚本后，成功跑起来。 sh bin/start-cluster.sh 红色部分是我改过的地方： vimstart-cluster.sh bin=`dirname "$0"`bin=`cd "$bin"; pwd`FLINK_BIN_DIR=$bincd ...
Flink源码分析 - 源码构建
weixin_30598225的博客
04-28 174
本篇文章首发于头条号Flink源码分析 - 源码构建，欢迎关注我的头条号和微信公众号“大数据技术和人工智能”（微信搜索bigdata_ai_tech）获取更多干货，也欢迎关注我的优快云博客。 本篇介绍一下如何从源码构建Flink，构建Flink源码是学习和研究Flink源码的基础，有助于更好的了解Flink。 环境准备 环境/软件 版本 备注 OS Ubuntu 14.04 LT...
Spark、Flink与Kafka环境搭建及代码测试
本文所涉及的“Spark+Flink+Kafka环境配置[代码]”正是围绕这一核心目标展开，系统性地指导开发者如何在CentOS 7虚拟机环境中完成Apache Spark、Apache Flink与Apache Kafka三大关键组件的部署与集成，并辅以Python...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值