- 博客(9)
- 收藏
- 关注
RSS订阅原创 关于Flink程序实时写Hdfs文件映射Hive外表（单天50T量级），相关配置优化以及自动监控重启程序（一）
可以先从一个相对较低的并行度开始，逐步增加，观察系统的性能（如文件操作次数、RPC 延迟、整体数据处理速度等），找到一个平衡点，使得数据能够均匀地分配到各个并行任务中，减少因任务间数据分配不均导致的文件操作异常。同时，检查 Checkpoint 机制的实现细节，确保其与文件写入策略（如批次滚动和桶管理）能够更好地协同工作，避免因为 Checkpoint 而频繁触发文件操作。同时，可以结合数据流量的监控，只有当数据流量长时间处于低谷时，才进行更频繁的检查。1.Flink程序启动相关配置调优。
2024-12-19 16:15:23
494
原创 关于Flink程序实时写Hdfs文件映射Hive外表（单天50T量级），相关配置优化以及自动监控重启程序（二）
Flink程序写Hdfs文件时，可能会遇到某些意外情况或者集群故障导致程序中断，因此就需要写脚本，进行自动化监控并从检查点位置自动重启程序。一、根据kafka offset偏移量进行监控重启。二、根据写入Hdfs文件时间进行监控重启。Flink写Hdfs文件监控重启，会发现。
2024-12-19 16:14:59
241
原创 关于Flink程序实时写Hdfs文件映射Hive外表（单天50T量级），相关配置优化以及自动监控重启程序（三）
一、由于flink程序重启，hive外表路径下会有in-progress、pending文件无法转换成正式文件映射到hive外表中，因此会导致部分数据丢失。二、由于flink程序重启，hive外表路径下会有in-progress、pending文件无法转换成正式文件映射到hive外表中，因此会导致部分数据丢失。具体shell脚本如下：（此方式是将in-progress、pending后缀名改为txt后缀名，实际情况根据自己需求调整即可）可通过重命名方式进行强制转换正式文件并刷新外表元数据即可。
2024-12-19 16:13:46
203
原创 解决java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on
随后刷新maven依赖，刷新完成以后，打开 Project Structure 窗口，Libraries中搜索slf4j-log4j12，如果没有则表明依赖已经不包含slf4j-log4j12。如果不确定是否每个都包含，建议每个依赖添加去除依赖。
2024-03-28 16:44:42
457
原创 Caused by: java.lang.IllegalArgumentException: Could not find a ‘KafkaClient‘ entry in the JAAS conf
关于kerberos认证找不到jaas.conf文件：Caused by: java.lang.IllegalArgumentException: Could not find a 'KafkaClient' entry in the JAAS conf
2022-12-13 17:27:56
2308
2原创 PLSQL使用相关详细配置
PLSQL使用相关详细配置正常安装完plsql以后打开会出现以下界面，点 Cancel。按照图中指示点击。按照图中提示设置。做完上述步骤，关掉plsql，添加一个path环境变量，D:\soft_installed\oracle\oracle_jimulu\product\11.2.0\dbhome_1\bin（找到自己的oracle目录下bin的位置，复制绝对路径）。接下来添加如图所示的环境变量。找到D:\soft_installed\oracle\oracle_jimulu\prod
2021-04-26 11:34:17
5102
原创 JavaSE基础：统计一篇文章中出现的指定字符的个数
package cn.xxx.demo;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.Scanner;/*统计一篇文章中出现的指定字符的个数*/public class Demo { public static void main(String[] args) { try { //创建字符.
2020-08-01 14:09:25
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人