Hadoop 环境配置

博客围绕Hadoop集群展开,博主因两次格式化出现存储为0、上传文件报错等问题。尝试删文件、检查防火墙和端口等未解决,最终通过格式化datanode解决。还介绍了集群搭建步骤,包括修改hosts、装JDK、免密登录、配置环境变量、启动集群及查看状态。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-set

这个作为参考

由于手欠format了两次   -report发现所有存储情况为0 

上传文件错误说datanode没有启动

1.删掉logs tmp hdfs 重新格式化没用

2.检查防火墙关闭 9000端口开放

3.jps发现datanode在

4.发现master9000端口没有被其他机器监听

解决方案:试了一下不仅将namenode 格式化,仍将datanode 格式化后,就可以解决了。。。

 

 

1.修改master和hadoop0 hadoop3的hosts文件(实验室集群不用改)

vim /etc/hosts

2.安装jdk(所有服务器) 配置环境变量

3.免密登录

所有机器产生秘钥  ssh-keygen -t rsa

将所有机器的公钥id_rsa.pub追加到任意机器的authorized_keys里面

赋予权限

验证所有机器之间能够免密登录

4.下载hadoop配置环境变量

配置core-site.xml  hdfs-site.xml mapred-site.xml  yarn-site.xml slaves

5.启动集群 bin/hadoop namenode -format(只能一次!!!)

sbin.start-all.sh

6.查看集群状态 hadoop dfsadmin -report

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值