大数据平台集群部署报错_hostname修改不重启导致_hbase无法启动_8080端口和zookeeper占用的8080端口冲突_jar包启动很慢_记录027---大数据工作笔记0187

   在部署大数据平台hbase集群的时候,本次发现两个问题,需要记录,以后部署的是,要注意.

1.由于系统修改了hostname. vim /etc/hosts 文件.

这里原来是host5 改成了hadoop2531,这种情况下要注意.必须重启,如果不重启,那么,hbase集群,启动的时候就会报错,找不到对应的地址了就.一定要保证:

这里变成了,对应设置的主机名以后,再去配置启动hbase.

2.上面的问题解决以后,启动zookeeper集群,然后启动zookeeper集群以后,然后再去启动hbase,发现也启动不起来,这个时候,其实原因就是.

在安装有hadoop集群的机器上安装了,我们的微服务jar包,微服务jar包的gateway微服务,使用了8080端口,这个端口同时也被zookeeper占用了,这样就导致了端口冲突了.

所以最好避开,集群机器和后端部署机器最好分开,如果机器够用的话,要不然一定要把,jar包中检查,

看看有没有占用的重复的端口.

3.微服务的jar包启动很慢?这个问题是可以解决的

<think>嗯,用户的问题是HBase在停止后出现pid文件缺失,导致HMasterRegionServer进程没有正常退出的情况。我需要根据提供的引用资料来寻找解决方法。 首先,用户运行stop-hbase.sh时,可能无法正确识别进程的PID,因为pid文件存在。根据引用[4],HBase的启停脚本依赖pid文件来终止进程。如果这些文件丢失,脚本就无法正常停止进程。所以,第一步应该是检查HBase的pid文件存储路径是否正确,通常在/tmp目录下,但可能被系统清理工具删除了。需要确认hbase-env.sh中的配置,比如export HBASE_PID_DIR,确保路径存在且权限正确。 然后,如果pid文件确实被删除,用户可能需要手动杀死进程。可以使用jps命令查找HMasterHRegionServer的PID,然后用kill -9强制终止。但要注意,这可能会导致数据一致,需要后续检查HBase的状态。 另外,引用[2]提到时钟同步的问题,虽然主要涉及启动时的错误,但系统时间一致也可能影响进程管理。需要确保集群节点时间同步,避免其他潜在问题。同时,检查是否有其他配置问题,如hbase-site.xml中的参数设置是否合理,比如hbase.master.maxclockskew,但这对停止问题可能影响大,过全面检查配置总是好的。 还有,引用[5]提到需要复制某个jar文件,这可能与类路径有关。如果HBase的依赖库完整,可能导致进程无法正常响应停止命令。需要检查lib目录下的jar文件是否完整,尤其是与进程管理相关的部分。 最后,用户可能需要升级HBase版本或应用补丁,如果这是一个已知的bug。引用[3]中的HMaster Aborted错误可能与进程终止异常有关,查看日志可以帮助确认是否存在未处理的异常导致进程无法退出。 总结下来,解决方案括检查pid文件配置,手动终止进程,调整清理策略,检查系统配置依赖库,以及查阅日志寻找更深层次的原因。同时,预防措施如配置正确的pid目录监控清理工具也很重要。</think>### 解决HBase停止后pid文件缺失且进程未退出的问题 #### 问题原因分析 1. **PID文件丢失** HBase的停止脚本`stop-hbase.sh`依赖PID文件(存储进程ID)来终止服务。若PID文件被意外删除或未生成,脚本无法定位进程,导致HMasterRegionServer无法正常停止[^4]。 2. **系统清理工具干扰** Linux系统的`/tmp`目录可能被定期清理(如`tmpwatch`工具),导致PID文件被删除。 3. **进程未响应终止信号** HBase进程可能因资源争用、死锁或底层依赖问题(如Zookeeper连接异常)未响应终止信号[^3]。 --- #### 解决方案 ##### 1. 手动终止残留进程 - **通过`jps`查找进程ID** ```bash jps | grep -E 'HMaster|HRegionServer' ``` 输出示例: ``` 17507 HRegionServer 17276 HMaster ``` - **强制终止进程** ```bash kill -9 <PID1> <PID2> # 替换为实际进程ID ``` ##### 2. 修复PID文件配置 - **修改`hbase-env.sh`** 指定自定义PID存储路径(避免`/tmp`目录): ```bash export HBASE_PID_DIR=/var/run/hbase # 确保目录存在且有写权限 ``` - **禁用系统清理工具** 若使用`tmpwatch`,编辑`/etc/cron.daily/tmpwatch`,排除HBase的PID目录: ```bash /usr/sbin/tmpwatch "$flags" -x /var/run/hbase 7d /tmp ``` ##### 3. 检查HBase停止脚本逻辑 - **验证脚本依赖关系** 确保`stop-hbase.sh`正确调用`hbase-daemon.sh`终止进程。检查脚本中以下逻辑: ```bash "$bin"/hbase-daemon.sh --config "${HBASE_CONF_DIR}" stop master "$bin"/hbase-daemons.sh --config "${HBASE_CONF_DIR}" stop regionserver ``` ##### 4. 排查底层依赖问题 - **检查Zookeeper状态** 若使用HBase自带Zookeeper,确认`HQuorumPeer`进程是否正常运行[^1]: ```bash jps | grep HQuorumPeer ``` - **修正时间同步问题** 若集群节点时间同步,可能导致进程管理异常。配置NTP服务并调整`hbase-site.xml`: ```xml <property> <name>hbase.master.maxclockskew</name> <value>180000</value> </property> ``` 同步时间后重启服务[^2]。 ##### 5. 日志分析 - **检查HMaster日志** 查看`logs/hbase-<user>-master-<hostname>.log`,定位异常终止原因(如资源足、端口冲突等)[^3]。 --- #### 预防措施 1. **配置监控告警** 使用工具(如Prometheus)监控HBase进程状态,发现异常时触发告警。 2. **优化停止脚本** 自定义脚本补充PID文件校验逻辑: ```bash if [ ! -f $HBASE_PID_DIR/hbase-<user>-master.pid ]; then echo "PID file missing, attempting force kill..." pkill -f HMaster fi ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值