安装Hadoop的Tips

最新推荐文章于 2024-09-06 00:35:56 发布

huyahuioo

最新推荐文章于 2024-09-06 00:35:56 发布

阅读量310

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/huyahuioo/article/details/88338240

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了如何在一台机器上配置好Hadoop环境，并将其复制到其他节点上，解决配置过程中的常见问题，如JAVA_HOME设置、主机名与IP对应、端口监听等，确保集群稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先在一台机器上(master)把配置修改好，在复制到其他节点上(slaves)
xxx-en.sh中需要配置JAVA_HOME为jdk文件夹绝对路径，不能用环境变量$JAVA_HOME
slaves文件中写各个slaves的主机名或者IP
注意主节点的主机名在/etc/hosts中和IP的对应关系
```
Starting namenodes on [master]

master: ssh: connect to host master port 22: Connection timed out
```
在/etc/hosts/文件中修改master的IP为主节点IP，如果时在主节点上，可以是本机IP 127.0.0.1

查看日志datanode连接主节点9000端口失败
查看主节点端口状态

	archlab@h-hadoop-master:~/hyh/hadoop-2.7.7/sbin$ netstat -an | grep 9000
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN     
tcp        0      0 127.0.0.1:48354         127.0.0.1:9000          TIME_WAIT

修改主机节点/etc/hosts文件

127.0.0.1       localhost
#127.0.1.1      ceph-osd1
#127.0.1.1      master
192.168.30.184 h-hadoop-master
#127.0.0.1 master
192.168.30.184 master
192.168.30.190 worker90
192.168.30.191 worker91
192.168.30.192 worker92
192.168.30.193 worker93

重新启动后查看端口状态

archlab@h-hadoop-master:~/hyh/hadoop-2.7.7/sbin$ netstat -an | grep 9000
archlab@h-hadoop-master:~/hyh/hadoop-2.7.7/sbin$ netstat -an | grep 9000
tcp        0      0 192.168.30.184:9000     0.0.0.0:*               LISTEN     
tcp        0      0 192.168.30.184:9000     192.168.30.191:49296    ESTABLISHED
tcp        0      0 192.168.30.184:9000     192.168.30.193:42416    ESTABLISHED
tcp        0      0 192.168.30.184:9000     192.168.30.192:52136    ESTABLISHED
tcp        0      0 192.168.30.184:9000     192.168.30.190:56954    ESTABLISHED

分别查看主节点和datanode的日志，都正常。
上传文件并查看：

archlab@h-hadoop-master:~/hyh/hadoop-2.7.7/sbin$ hadoop fs -put ~/hyh/jpg.tar.gz /
archlab@h-hadoop-master:~/hyh/hadoop-2.7.7/sbin$ hadoop fs -ls /     
Found 1 items
-rw-r--r--   1 archlab supergroup  118373985 2019-03-08 14:05 /jpg.tar.gz