- 博客(8)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop Datanode启动不正常
1.删除hdfs-site.xml中配置的namenode和datanode的目录。2.格式化 主节点 hdfs namenode -format。
2025-02-26 17:11:53
426
原创 flink实时写doris问题
方案二：若业务中checkpoint时间不宜设置太短，改为batchmode模式，设置flush时间，但是当前最短只能设置为1s，无法设置毫秒级。查找相关文档后，发现doris流模式写入中，Flink Doris Connector 强依赖 Checkpoint 进行流式写入，实测也是。读kafka实时写入doris，实时观察doris数据，发现不是实时写入，是攒批写入，flink任务执行了，但是数据还未写入doris。方案一：缩短checkpoint时间，如200ms，实测效果ok，时效性也是最好的。
2025-01-26 11:37:15
432
原创 flink任务告警，flink on yarn任务告警
背景：针对实时流的flink on yarn任务，yarn正常running，但是flink任务一直在重启，无法在yarn层感知flink任务是否失败，本文通过prometheus+node_exporter+pushgateway+grafana，感知任务异常并发出告警。
2024-10-21 16:47:33
1059
原创 java.lang.IllegalArgumentException: Time should be non negative
Flink任务报错 java.lang.IllegalArgumentException: Time should be non negative。
2024-08-23 16:36:35
335
1
原创 flink读clickhouse，自定义sink和source
flink分批读clickhouse数据，处理后再存clickhouse。存量数据：按天分批取数据处理；增量数据：每隔一段时间拉取一次数据。
2024-01-15 11:56:55
1740
原创 Red Hat Enterprise Linux Server release 7.1 (Maipo) 安装gcc 的几种方式
linux中没有默认安装的gcc，网上查找了一番，问题还是很多[root@localhost local]# gccbash: gcc: command not found...red hat中yum需要付费[root@localhost local]# yum install gccLoaded plugins: langpacks, product-id, subscripti
2017-10-23 11:04:41
27043
3
clickhouse-common-static-23.9.1.1854.x86-64.rpm
2024-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人