- 博客(1)
- 收藏
- 关注
原创 如何在IDEA IDE 开发环境中直接以 Yarn 方式提交Spark 代码到远端 Yarn集群运行
IDEA IDE 中直接以Yarn 方式调试Spark 程序,无需打包上传
2024-05-20 16:20:35
1587
1
Doris 数据库 自动查找需要compaction 的tablet ,并自动执 compaction shell script
!!内部代码要自己修改为自己的目录,不是立马可执行!
【一 功能】:
(1) 自动查找系统数据库职位务数据库中的表
(2)根据 get_need_compaction_tables.sh 中 的阈值 version_count_max=500 筛选出需要手工进行compaction的tablets
(3)根据生成的结果执行 compaction;
【二 .脚本介绍】
(1)get_need_compaction_tables.sh : 根据 version_count_max=500 筛选出需要进行compaction的表列表。
(2)auto_compact_doris_tablet.sh : 本地生成命令文件
(3)run_base.sh : 执行(2) 生成的命令文件 base compaction 类型
(4)run_cumul.sh : 执行(2)生成的命令文件 cumulative compaction 类型;
三、 使用cron 排程运行 run_cumul.sh(常用) 或 run_base.sh
2024-11-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅