hadoop
关注
分享
扫一扫
文章平均质量分 56
gs80140
拥有丰富的大型系统架构设计及实现经验，曾参与12306后端内存并发计算架构设计及核心源码实现，在高并发、分布式系统优化领域具备深厚的技术积累。同时，参与美国强生大全球大数据平台建设，在数据治理、存储与计算框架设计方面有出色表现。近年来专注于人工智能应用开发，将技术创新与实际业务需求相结合，具备从算法研究到应用落地的全栈能力，致力于推动大数据和人工智能技术在行业场景中的深度融合和实践。
展开
-
报错 could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s)
由于启动hadoop, 有时使用root用户启动了, 再换成hadoop启动就失败了, 要固定hadoop用户启动。解决方案: 除了检查防火墙状态 iptables -L -n 以外, 检查 DataNode 是不是真的没有起来。将有问题的目录重置为hadoop用户:组 即可。我的情况就是datanode没有启来。原创 2023-08-25 11:36:12 · 655 阅读 · 0 评论 -
hadoop yarn 报错 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL
采用如下解决办法 25后面3个0 可以跑到73%才挂, 然后25后面4个0 跑到100%才挂。由于我用的是hadoop 2.7.2版本, 升级到 2.7.3版本尝试一下。现象是job卡住, 进度一直停在20%运行简单的样例程序报错。原创 2023-08-24 17:35:19 · 1555 阅读 · 0 评论 -
hadoop 报错 java.io.IOException: Inconsistent checkpoint fields
关注的点是 blockpoolID ,clusterID,namespaceID, 格式化后 name目录下面这个id变了, 要改成旧的。name目录: /home/hadoop/dfs/name/current/VERSION内容。/home/hadoop/dfs/name/current/VERSION 的内容中的。这个63不能乱换, 主要思路就是保持各个VERSION一致。背景: 使用了格式化,导致首重了新的集群ID。最终各个目录内的VERSION如下。原创 2023-08-24 11:31:40 · 920 阅读 · 0 评论 -
报错 The number of live datanodes 1 has reached the minimum number 0
再次检查正常了 hdfs fsck /原创 2023-08-24 10:00:56 · 298 阅读 · 0 评论