Hadoop
关注
分享
扫一扫
超新星X
大丈夫抱经世之才，岂可空老于林泉之下
展开
-
【Hadoop故障处理】全分布下，DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空
【故障背景】DataNode进程正常启动，但是网页上不显示，并且DataNode节点为空。/etc/hosts 的ip和hostname配置正常，各个机器之间能够ping通。【日志错误信息】2018-06-11 17:29:08,165 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-591370997-1...原创 2018-06-11 11:26:26 · 3830 阅读 · 1 评论 -
【Hadoop故障处理】高可用（HA）环境DataNode问题
【故障背景】NameNode和DataNode进程正常运行，但是网页找不到DataNode，DataNode为空。各个节点机器之间可以ping同主机名。【日志排查】众多日志中找到如下关键点错误信息ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool BP-2502486...原创 2018-06-11 13:37:02 · 975 阅读 · 0 评论 -
【Flume】数据采集引擎Flume
一、概述flume是一个高效的、可靠的、可用的分布式海量日志数据收集、聚合、传输的工具。Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. 二、flum的架构三、flume的组件以及...原创 2018-06-12 21:46:35 · 559 阅读 · 0 评论 -
【Hadoop故障处理】在高可用（HA）配置下，8088端口无法访问，resourcemanager进程无法启动问题
【故障背景】8088网页打不开，因8088是yarn平台的端口，所以我从yarn开始排查，首先到各个机器上使用jps命令查看yarn的各个节点是否启动，发现虽然有nodemanager进程，但是主节点机器上的resourcemanager进程未启动，使用yarn-daemon.sh start resourcemanager单独启动resourcemanager进程。遇到闪退，一开启进程，不一会就...原创 2018-06-10 11:57:21 · 5155 阅读 · 0 评论