
hadoop
JavaShooter
Hello,everybody.
人生短暂,做自己,去成就!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop DataNode无法连接NameNode问题,注意/etc/hosts内容
早上检查任务执行情况,发现相关存储任务失败,检查hadoop相关状态(hadoop dfsadmin -report)发现数据节点一个也没有识别。检查数据节点日志hadoop-hadoop-datanode.log发现有2012-10-09 09:18:25,661 INFO org.apache.hadoop.ipc.RPC: Server at host137/192.168.6.13原创 2012-10-09 09:52:25 · 1477 阅读 · 0 评论 -
Exception in BPOfferService for Block pool BP
集群:cdh4 问题:启动集群后,发现datanode日志,报Exception in BPOfferService for Block pool BP.解决:hdfs-site.xml修改属性dfs.datanode.data.dir,配置它的值为多个目录(逗号分隔),这个可能与属性dfs.datanode.failed.volumes.tolerated有关。原创 2013-11-11 15:02:45 · 2613 阅读 · 0 评论 -
hive lzo 乱码问题
测试集群配置lzo,无问题。生产环境上通过hive查询数据时,出现乱码(多出几行),应该是在解压时出现了其它的字符,通过lzop解压无问题。解决方案:待....原创 2013-10-11 10:03:42 · 2113 阅读 · 1 评论 -
datanode无法启动
datanode无法启动,datanode.log报如下异常:2013-01-17 15:56:59,188 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.lang.IndexOutOfBoundsEx原创 2013-02-05 13:27:43 · 1326 阅读 · 1 评论 -
su: cannot set user id: Resource temporarily unavailable
昨天晚上在namenode节点上执行start-balancer.sh,今天早上su - hadoop用户报这样的问题!!!jps -l 看到start-balancer.sh仍然在执行,直接杀掉该进程即可或是stop-balancer.sh。这个进程怎么占用这么多资源,没有想到!同时注意一点就是:不要所有的节点都运行该进程。只要namenode节点运行该进程即可!!!原创 2012-12-06 08:45:22 · 1468 阅读 · 0 评论 -
hadoop rackawareness实现
由于集群扩大,新机器安装在另一台机架上,所以需要配置机架感知。机器感知没有使用默认脚本实现,而是采用直接配置topology.node.switch.mapping.impl,实现类是java类。以下是在测试集群中的实现。public class JavaTestBasedMapping implements DNSToSwitchMapping { //key:ip value:ra原创 2012-11-21 16:51:47 · 572 阅读 · 0 评论 -
HowManyMapsAndReduces
http://wiki.apache.org/hadoop/HowManyMapsAndReduces转载 2012-12-06 16:24:45 · 542 阅读 · 0 评论 -
hivesql错误1:java.lang.Throwable: Child Error, status:255
java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Caused by: java.io.IOException: Task process exit with nonzero status of 255. at org.apache.hadoop.ma原创 2012-10-27 18:26:14 · 2266 阅读 · 2 评论 -
写hive RowNumUDF注意点
写了一个hive的UDF函数 rownum,用于记录行号,后发现一个问题,就是rownum有重复。原因在于产生的多个map都会调用rownum,解决的方法要求你的hive sql中必须有sort by,不过这也意味着数据是在单内机器上排序。原创 2012-10-10 09:09:34 · 1806 阅读 · 0 评论 -
java.io.IOException: No FileSystem for scheme: hdfs
问题:NN配置成HA后,通过API读过集群各节点状态时,发生如下的异常!java.io.IOException: No FileSystem for scheme: hdfs没有获取到DFS!!!解决方案:待。。。原创 2013-11-21 14:26:43 · 6616 阅读 · 0 评论