如月峰水-优快云博客

原创基于ES6.6.2安装破解x-pack

声明：本文不包含任何交易，如有侵权，请联系我进行删除本环境版本为：elasticsearch-6.6.2从6.3+版本起，xpack已内置于es，已不需要安装插件。

2023-10-25 17:55:03 487

原创优化HDFS上/user/hadoop/.sparkStaging/目录输出

我们的hdfs /user/hadoop/.sparkStaging/目录下有5000多个applications，占用几十个T，导致磁盘告警。经查看次目录很多已经运行结束的applications依赖环境仍然在占用hdfs存储。那么就得清理下这些无用的目录。此配置只会在配置生效后提交的application有用，已经产生的stage文件仍然需要动手写脚本删除（但要注意不要删除正在运行的application目录）含义：提交作业时的staged文件在application结束时进行删除。

2023-08-16 16:35:51 826

原创【Pulsar】学习笔记-安装部署

advertisedAddress 修改为服务器对应的ip,在另外两台服务器也做对应的修改advertisedAddress=10.91.1.90。# 修改zk地址和端口信息zkServers=10.91.1.90:2181,10.91.3.47:2181,10.91.3.24:2181。订阅test主题(-n:消费的消息数量,-s:订阅的名字,-t:订阅的类型)发消息到test主题(-n:发送消息的次数,-m:消息内容)三台分别启动bookeeper。三台分别启动broker。以下结果为初始化成功。

2023-06-27 16:15:10 255

原创 [HIVE] hiveserver2 jmx监控配置

1.上传jmx_prometheus_javaagent-xxx.jar和hs2.yaml文件到hive机器(文件位置自己定，本文如下图)本文采用Prometheus+jmx_prometheus_javaagent-xxx.jar+Grafana方法；3.prometheus configs 添加 h2s-emr-chusjwow.json 文件。黄框或者绿框其一即可。（由于腾讯hive包的问题，有绿色框内容不存在的情况出现）hiveserver2监控指标。

2023-05-09 19:22:57 1663 10

原创 Kafka jmx监控配置部署

1.上传jmx_prometheus_javaagent-xxx.jar和kafka.yml文件到kakfa机器(文件位置自己定，本文如下图)本文采用Prometheus+jmx_prometheus_javaagent-xxx.jar+Grafana方法；3.在prometheus/configs中添加 kafka.json（名字自定义）4.在prometheus.yml中添加配置,并重启prometheus。2.在bin/kafka-server-start.sh中添加配置。

2023-05-09 19:07:15 993 1

原创 Hive 并行编译问题排查解决

通过查看hive2 线程信息，排查为hive2 进行sql编译时，一条sql编译时间较长，导致编译锁无法释放，后续sql无法执行，将hive.driver.parallel.compilation参数由false改为true,执行命令：beeline -u jdbc:hive2://xx.xx.xx.xx:port。通过命令Jstack hive2进程ID查看进程的堆栈跟踪信息和线程执行信息。由全局锁改为session锁，这样各个session的sql没有关系。

2023-05-09 18:58:52 294 1

原创 Tez页面个别用户查看applicationId No records available问题

qe-data athena等普通用户提交任务后，yarn界面有显示applicationId，但在tez页面却无法查询。hadoop用户提交的任务并无此问题。

2023-05-09 18:53:54 353 1

原创记一次Kafka 故障Too many open files问题

查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。生效并重启，问题解决；20220906 13:01 十几次的kafka打开文件句柄数的值均在。左右，大多没超过4096，故猜测之前62天没有报错过原因于此。

2023-05-09 17:18:39 2592 1

weixin_41162023的博客