centos7安装hadoop3.0.0笔记

最新推荐文章于 2025-06-23 10:35:53 发布

原创最新推荐文章于 2025-06-23 10:35:53 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #centos7安装hadoop3.0.0

本文详细介绍了如何从官网下载 Hadoop 3.0 的安装包并进行解压，随后设置了环境变量及配置文件，包括 hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml 和 mapred-site.xml。文中还提供了防火墙的开关操作指南，并解释了格式化 NameNode、设置免密登录的过程，最后演示了如何启动集群、运行 WordCount 示例和访问 Web 界面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 官网下载

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

2. 解压

tar -zxvf hadoop-3.0.0.tar.gz

3. 环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/java

export HADOOP_HOME=/usr/local/hadoop3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

注意：/usr/local/hadoop3为解压路径 /usr/local/java为jdk路径

4. 配置文件 hadoop3/etc/hadoop

1) hadoop-env.sh

export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/root/hadoop-3.0.0
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2）core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop-3.0.0/data</value>
</property>
</configuration>

3) hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

4) yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop102</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

5) mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.admin.user.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
</property>

6)关闭防火墙

systemctl stop firewalld.service
开启防火墙：
systemctl start firewalld.service
关闭开机启动：
systemctl disable firewalld.service
开启开机启动：
systemctl enable firewalld.service

7)首次启动,需要格式化下

hadoop namenode -format

8）配置免密登录

ssh-keygen 生成私钥和公钥
ssh-copy-id localhost 将公钥拷贝到要免密登录的机器上

6. 启动

start-dfs.sh
start-yarn.sh
jps查看是否启动

7. 运行wordcount

 hdfs dfs -cat /logs/wordcount.loghadoop jar /usr/local/hadoop3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jarwordcount /logs/wordcount.log /output/wordcount
   
注意: /usr/local/hadoop3是解压路径，/logs/wordcount.log是输入文件路径，/output/wordcount运行结果路径
   
查看运行结果: hdfs dfs -text /output/wordcount/part-r-00000

8. Web界面

http://hadoop102:9870/http://hadoop102:8088/

9.上传文件测试

hadoop fs -put jdk1.8.tar.gz /
上传到根目录

hadoop-evn.xml里面的用户名和免密登录必须设置,否则报错