JavaShooter的专栏

早上检查任务执行情况，发现相关存储任务失败，检查hadoop相关状态(hadoop dfsadmin -report)发现数据节点一个也没有识别。 检查数据节点日志hadoop-hadoop-datanode.log发现有 2012-10-09 09:18:25,661 INFO org.apache.hadoop.ipc.RPC: Server at host137/192.168.6.13

集群：cdh4  问题：启动集群后，发现datanode日志，报Exception in BPOfferService for Block pool BP. 解决：hdfs-site.xml 修改属性dfs.datanode.data.dir，配置它的值为多个目录(逗号分隔)，这个可能与属性dfs.datanode.failed.volumes.tolerated有关。

测试集群配置lzo，无问题。 生产环境上通过hive查询数据时，出现乱码（多出几行），应该是在解压时出现了其它的字符，通过lzop解压无问题。 解决方案：待....

datanode无法启动，datanode.log报如下异常： 2013-01-17 15:56:59,188 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.IndexOutOfBoundsEx

昨天晚上在namenode节点上执行start-balancer.sh，今天早上su - hadoop用户报这样的问题！！！ jps -l 看到start-balancer.sh仍然在执行，直接杀掉该进程即可或是stop-balancer.sh。 这个进程怎么占用这么多资源，没有想到！ 同时注意一点就是：不要所有的节点都运行该进程。只要namenode节点运行该进程即可！！！

由于集群扩大，新机器安装在另一台机架上，所以需要配置机架感知。机器感知没有使用默认脚本实现，而是采用直接配置topology.node.switch.mapping.impl，实现类是java类。以下是在测试集群中的实现。 public class JavaTestBasedMapping implements DNSToSwitchMapping { //key:ip value:ra

http://wiki.apache.org/hadoop/HowManyMapsAndReduces

java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) Caused by: java.io.IOException: Task process exit with nonzero status of 255. at org.apache.hadoop.ma

写了一个hive的UDF函数 rownum，用于记录行号，后发现一个问题，就是rownum有重复。 原因在于产生的多个map都会调用rownum，解决的方法要求你的hive sql中必须有sort by，不过这也意味着数据是在单内机器上排序。

问题：NN配置成HA后，通过API读过集群各节点状态时，发生如下的异常！ java.io.IOException: No FileSystem for scheme: hdfs 没有获取到DFS!!! 解决方案：待。。。