hadoop 0.20.2 伪分布式安装和配置

最新推荐文章于 2025-08-18 17:45:33 发布

shyc126

最新推荐文章于 2025-08-18 17:45:33 发布

阅读量287

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/shyc126/article/details/41315205

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文提供了一步一步的指导，教你如何在Linux环境下安装和配置Hadoop集群，包括Java环境搭建、Hadoop各组件配置及启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.查看现有linux下java版本

rpm -qa|grep gcj

rpm -qa|grep jdk

java -version

删除已安装java

rpm -e --nodeps java..........（复制查出的rpm）

2.下载jdk7安装

tar -zxvf /tmp/jdk-7u72-linux-i586.tar.gz

3.下载hadoop安装

tar -zxvf /tmp/hadoop-0.20.2.tar.gz

4.本地ssh无密登录

cd /root/.ssh

ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

5.修改配置文件

vim /etc/profile

在文件最后加上

# set Java environment
export JAVA_HOME=/usr/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# set Hadoop environment
export HADOOPHOME=/usr/hadoop
export PATH=$HADOOPHOME/bin:$PATH

6.修改hadoop配置文件，在conf目录下

1)修改vim hadoop-env.sh

export JAVA_HOME=/usr/java

2)vim core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>

</configuration>

3)vim hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
</property>

</configuration>

4)vim mapred-site.xml

<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/usr/hadoop/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/usr/hadoop/mapred/system</value>
</property>

</configuration>

5)配置master文件，加入namenode的ip地址

localhost

6)配置slaves文件，加入所有datanode的ip地址

localhost

7.启动

cd /usr/hadoop

./bin/hadoop namenode -format

./bin/start-all.sh

8.jps检查启动情况

9.浏览器访问http://localhost:50030和http://localhost:50070