大数据踩的坑

hbase

出现的问题：

1、Hbase集群启动不了。 regionserver.HRegionServer: error telling master we are up

com.google.protobuf.ServiceException: java.io.IOException: Call to user253166468785736-bigdata-master/172.30.24.7:16000 failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=0, waitTime=10001, operationTimeout=10000 expired.

解决方法

检查/etc/hosts文件,如下文,产生此问题的原因由 hadoop116 引起:

127.0.0.1 hadoop116 localhost.localdomain localhost4 localhost4.localdomain4

改成如下内容后重启集群,问题解决

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

此问题在stackoverflow中有这样的描述: 

check your /etc/hosts file,if there is something like

127.0.0.1 localhost yourhost

change it to

127.0.0.1 localhost 

192.168.1.1 yourhost

HBase RegionServer: error telling master we are up

resourceManager 上查看nodemanager 上的运行日志

在sbin 下启动 mr_jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver

./yarn-daemon.sh start timelineserver

即可在web页面查看mr任务的历史进程，jps查看 多了一个进程。

 

Yarn 日志聚集功能（Aggregation）

应用运行完成以后，将日志信息上传到Hdfs文件系统

在hdfs相应的文件路径下会看到相关的log路径

在yarn-site.xml中配置相关参数

yarn.log-aggregation-enable（日志聚集） False(默认)

yarn.log-aggregation.retain-seconds（日志保存时间） -1(永久)

 

<property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

      

       <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>640800/value>    //7天

 </property>

在web上 url：  master_ip:19888

Hadoop 故障：java.lang.OutOfMemoryError: Java heap space

2013年11月19日 14:06:51

阅读数：8764

一个作业运行时，在maptask阶段出现了如下错误：

[java]