- 博客(9)
- 收藏
- 关注
RSS订阅原创 Flink反压机制
当上流速率大于下游速率的时候，下游的 TaskManager 的 Buffer 已经到达了申请上限，这时候下游就会向上游返回 Credit = 0，ResultSubPartition 接收到之后就不会向 Netty 去传输数据，上游 TaskManager 的 Buffer 也很快耗尽，达到反压的效果，这样在 ResultSubPartition 层就能感知到反压，不用通过 Socket 和 Netty 一层层地向上反馈，降低了反压生效的延迟。遇到这种情况，要么优化 task 处理能力，要么增加并发。
2023-11-20 09:52:27
204
1
原创 Flink 数据倾斜 解决方法
当 Subtasks 之间处理的数据量有较大的差距，则该 Subtask 出现数据倾斜。”：例如80%的财富集中在20%的人手中、80%的用户只使用20%的功能、20%的用户贡献了80%的访问量。数据倾斜的现象，如下图所示。过多的数据集中在某些 JVM（TaskManager），使得JVM 的内存资源短缺，导致频繁 GC。严重情况下，过长的 GC 导致 TaskManager 失联，系统崩溃。数据集中在某些分区上（Subtask），导致数据严重不平衡。，删除预聚合添加的前缀或者后缀，然后进行聚合统计。
2023-08-10 11:03:59
552
1
转载 flink keyby、shuffle、 rebalance、rescale、 broadcast、global、自定义分区算子以及各分区器源码
flink中keyBy是一种按照键的哈希值来进行重新分区的操作，至于分区是否均匀、每个key 的数据具体会分到哪一区无法控制，因此keyBy 是一种逻辑分区（logical partitioning）操作。只有物理分区（physical partitioning），才真正控制分区策略精准地调配数据。物理分区与 keyBy 另一大区别在于，keyBy 之后得到的是一个 KeyedStream，而物理分区之后结果仍是 DataStream，且流中元素数据类型保持不变。分区算子。
2023-08-10 10:01:44
281
1
转载 flink源码在开发工具(idea)中编译运行
4、依赖包下载耗时10分钟左右。下载完成，根据自己本机的实际情况，如果本机的JDK是1.8，则点击右侧maven-->Profiles，取消勾选java11，否则运行单元测试会报错： 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED。取消勾选后，可能依然还会报这个错误，file-->invalid cache重新打开。解决办法是：在settings.xml文件中，将镜像地址都注释掉，5、若如下包不能下载，提示报错，可从如下地址下载（
2023-08-03 16:48:29
320
转载 flink1.13.2源码编译遇到的坑Failed to execute goal org.apache.rat:apache-rat-plugin:0.12
mvn spotless:apply //代码格式化。
2023-08-03 11:07:24
423
转载 IDEA全局设置JDK、Maven、编码格式
本机已安装JDK版本：本机已安装Maven版本：一、IDEA设置全局JDK设置File---->New Projects Settings---->Structure for New Projects...先将本地安装的JDK添加到SDK 将项目SDK设置为刚刚添加的本地JDK版本File---->New Projects Settings---->Settings for New Projects... 至此设置全局JDK版本完成，以后创建新项目都会是这个设置二、IDEA设置全局Maven版本和本地仓库
2023-08-03 10:40:46
974
转载 实时数仓之Flink维表关联难点解决方案
所谓实时lookup数据库关联，就是在用户自定义函数中通过关联字段直接访问数据库实现关联的方式。1相对于实时lookup数据库关联每条数据都要请求数据库(带缓存时请求略有减少)，预加载维表关联是在作业启动时就把维表加载到内存中，不过如果没有命中数据就关联不上了。1前面两种关联方式，是1个流和一个静态表的关联，维表变更日志关联是把维表changelog放到数据流中，然后两个流做join。所谓变更日志类似于MySQL的binlog，通常由维表数据库端将日志push到消息队列(例如Kafka)。
2023-07-28 17:42:17
1302
1
转载 Flink双流Join 3种解决方案 + 2种优化方案
这一期的面试题主要是介绍下面的答案都是博主收集小伙伴萌的答案 + 博主自己的理解进行的一个总结。
2023-07-28 17:38:53
1868
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人