
大数据技术
以大数据技术、故障处理为主
nejore
8年大型网络安全公司工作经历。对网络安全、软件开发、项目管理均有着深入的理解和积累
展开
-
hdfs的block损坏,导致其他服务无法获取到数据
hdfs的block损坏,导致其他服务无法获取到数据原创 2022-06-02 15:49:22 · 390 阅读 · 0 评论 -
ambari-server心跳丢失
ambari-server心跳丢失原创 2022-06-02 15:50:02 · 501 阅读 · 0 评论 -
kafka消费异常
kafka消费异常原创 2022-06-02 15:51:14 · 2145 阅读 · 0 评论 -
hdfs的block损坏
到了这一步就基本判定是block出现了问题,因为hdfs的block如果出现损坏或者离线,hdfs会开启自我保护机制,即模式上线尝试通过重启master,让hdfs自我修复掉坏的block,但是失败了,仍然提示一个block异常2019-01-02 16:21:40,081 INFO ipc.Server (Server.java:logException(2394)) - IPC Server handler 583 on 8020, call org.apache.hadoop.hd..原创 2020-08-07 16:01:40 · 414 阅读 · 0 评论 -
es适配硬件服务器
1.描述发生场景为非正规硬件服务器安装的情况下,es服务通过ambari启动后会再次变更状态为stopped2.解决办法查看日志到es所在的容器或者机器,查看日志vi es_1.server1.log在日志文件中查找异常信息,会发现下图错误,从错误中可以看到提示es的配置参数超额了。日志中提示的thread_pool.index.size<=13,在配置文件中修改对应参数,然后保存配置,重启es重启完毕后,es服务还是起不来,按照前两步的操作,发现另一个..原创 2020-08-07 15:45:27 · 308 阅读 · 0 评论 -
hdfs目录权限变更导致无法启动
hdfs报错:2018-04-19 11:20:20,928 INFO impl.FsDatasetImpl (FsVolumeList.java:run(342)) - Caught exception while scanning /data/hadoop/hdfs/data/current. Will throw later.ExitCodeException exitCode=1: du: cannot access `/data/hadoop/hdfs/data/current/B..原创 2020-08-07 15:56:39 · 479 阅读 · 0 评论 -
ambari-server因postgresql数据库字段导致心跳丢失
ambari-server心跳丢失ambari集群全部丢失心跳,只剩下server端能正常运行,后台查看ambari-server.log发现一些问题;一开始网上搜索了下,说是ambari在安装的时候会去读取mac地址,是ip网卡绑定的mac地址与实际的mac地址不相符造成,到docker容器中去查看单个容器的mac地址确实与网卡中的mac地址不相符合,但其一样的安装包都能正常运行,并非是mac地址不相符造成。根据提示的错误信息:图中显示的几个字段的长度为255,长度不足,手动设置了该表的字原创 2020-08-07 14:48:08 · 259 阅读 · 0 评论 -
zookeeper集群简单搭建
0、准备到官网http://zookeeper.apache.org/下载合适自己的版本到/home下,然后解压,笔者使用的是3.4的版本1、配置环境变量vim ~/.bash_profile然后编辑export ZOOKEEPER_HOME=/data/zookeeper-3.4.6export PATH=$ZOOKEEPER_HOME/bin:$PATH原创 2016-11-22 22:41:30 · 283 阅读 · 0 评论