- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hive运行Mapreduce 中 Map 生成数量分析
背景通常在执行HIVE sql，都会控制map 、reduce 个数在一个合理的范围，避免过多的资源浪费。由于hadoop 的每个任务在初始化是都需要一定时间，因此理想状态每个map 执行时间至少超过一分钟。一、input.format查看集群hive 默认hive> set hive.input.format;hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat一般常见的inputformat
2022-05-25 19:03:33
799
原创 Flume 监控部署
FLume监控部署— Flume_exporter文章目录FLume监控部署--- Flume_exporter前言一、JSON Reporting 设置二、flume_exporter 安装1.flume_exporter下载2.编译2.1 安装go 环境2.2、make build3、启动flume_export4、验证三、添加进Prometheus四、Grafana 展示前言Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Report
2022-05-19 16:18:16
2008
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人