luyunlong_it的博客

基于对flink的学习，和对flink源码的简单梳理，从flink on yarn的角度，介绍flink从启动，到提交yarn任务，以及完成整个过程涉及到的进程交互和内存管理等底层逻辑。该资源一共分为4个部分：1、yarn提交流程，2、组件通信，3、任务调度，4、内存管理 适合人群：具备一定编程基础和大数据基础知识，工作1-3年的大数据研发和运维人员 能学到什么：①flink on yarn模式之下的启动和运行原理，通过简单梳理底层逻辑加深对flink的掌握；②从底层机理的角度剖析flink是如何处理我们的需求的，从而帮助我们更好的解决运维问题。 阅读建议：此资源基于flink的源码追踪并简单分析，学习参考的时候建议下载相应版本的flink源码，并搭建虚拟机安装部署测试flink，在运行过程中结合源码和笔记学习效果更佳。有经验的开发人员可以编译并debug flink的源码，这样可以更加直观深入地研究flink的运行原理。有利于开发应用和解决问题