自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 数据湖组件Hudi中清理操作源码解析

数据湖Hudi清理策略讲解

2024-09-08 17:00:37 344

原创 Flink中StandaloneApplicationClusterEntryPoint和KubernetesApplicationClusterEntrypoint的区别分析

flink on kubernetes

2024-07-28 11:37:30 441

原创 java.lang.NoSuchMethodException:ha.ConfiguredFailoverProxyProvider.<init>问题排查分析和解决

Caused by: java.io.IOException: Couldn't create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

2024-06-15 21:33:43 1504 1

原创 Flink中ClusterClient连接jobmanager获取job状态的报错

分析该代码第一感觉是重试次数超过限制之后报的错,分析是哪里设置了重试次数了呢,然后就复制该段代码在flink源码中进行搜索,发现是在这里报的错,是FutureUtils.retryOperationWithDelay方法中会打印出来的日志。重试次数默认是20次,重试的间隔默认是3秒钟,因此clusterClient和jobmanager通信的默认超时时间为 20 X 3 为 60秒钟。再网上进行上层代码的查询是RestClusterClient.retry进行调用。

2024-04-27 20:45:36 930 3

原创 Flink中WarterMark的基本思考

5到10 的窗口计算的结果为: 5 + 6 + 6 + 7 + 8 + 10 = 32 ,其中4 被遗弃了,不参与count的计算。那么 0到5的窗口计算的结果为:0 + 1 + 2 + 3 + 3 + 4 = 13。10 到 15 窗口计算的结果为: 10 ,其中8 和 9 是乱序数据因此就被遗弃了。

2024-03-09 15:40:07 411 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除