flink
关注
分享
扫一扫
Amos_Mu
这个作者很懒，什么都没留下…
展开
-
flink中task调度原理
原创 2021-05-18 23:45:23 · 160 阅读 · 0 评论 -
flink中task的划分及调优
每一个task中有多个subtask（线程），subtask要发送到taskManager中运行原创 2021-05-18 20:20:35 · 690 阅读 · 0 评论 -
flink的执行计划详解
上图是代码提交后在flink web ui中生成的执行计划原创 2021-05-17 23:30:11 · 390 阅读 · 0 评论 -
flink on yarn的两种模式
flink on yarn 两种模式 1.内存集中管理模式（yarn-session模式） 提交命令：(1)yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d] -n:taskManager的数量 -jm:jobManager的内存大小 -tm:taskManager的内存大小 ...原创 2021-05-17 20:16:15 · 487 阅读 · 0 评论 -
Flink on yarn
1.Flink on yarn执行方式和提交命令第一种:是先开辟资源然后在进行资源的调度使用，开辟的资源是供所有的flink进程来使用的，如果某一时刻没有flink程序执行开辟的资源会空转等待新的flink进程。第二种:是一边开辟资源一边进行使用，一个资源供一个flink进程使用，flink进程执行完毕之后就释放资源。 flink的提交命令： ...原创 2019-05-06 20:30:48 · 283 阅读 · 0 评论 -
Flink wordcount socket案例
java版：Scala 版：原创 2019-05-06 20:34:38 · 481 阅读 · 0 评论 -
Flink消费0.10版本kafka
1.Flink 消费者精确到一次语义 a.setStartFromGroupOffsets()【默认消费策略】 默认读取上次保存的offset信息 如果是应用第一次启动，读取不到上次的offset信息，则会根据这个参数auto.offset.reset的值来进行消费数据 b.setStartFromEarliest() 从最早的...原创 2019-09-04 17:28:44 · 1234 阅读 · 0 评论