数据源的港湾

Hadoop集群中遇到了HDFS missing blocks的错误，处理办法如下：切换到hdfs用户su - hdfs使用hadoop fsck命令检查坏的块hadoop fsck /输出示例如下 ，.../user/trafodion/.hiveStats/HIVE.DMA.DMA_ENTTYPE_STAT_ORC-1532663517555-NOSTRIPENUMR...

本文介绍在CentOS 6环境下离线安装HDP 2.4(两个节点)。主要步骤如下，1 安装前配置(1)配置host name，同步集群每个节点[root@esggy-del-n001 ~]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1

昨日玩HDP Ambari，遇到两个问题，在此总结一下，以防以后再遇到同类问题可以快速入手。问题一现象 ambari界面中各组件看不到状态信息，查看ambari server日志发现有如下报错，28 May 2018 19:28:58,144 WARN [qtp-ambari-agent-198] nio:720 - javax.net.ssl.SSLException: Re...

现象机房断电后，HDP Hadoop各重要组件启动异常。单独从Ambari界面启动Zookeeper报错，报错截图如下解决根据报错信息，定位到错误发现在ambari-python-wrap /usr/bin/hdp-select versions | grep ^2.4.3.0-227 | tail -1这条命令，单独在节点上执行此命令，输出如下，[root@namenode-1 ha...

今天突然发现Hadoop集群中的一台DataNode启不来，其他节点都是正常的，此DataNode启动过程中日志只有以下错误信息，2019-05-06 16:36:01,106 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM除了上述错误信息，也没有其他更有效的信息了，感觉很是...