Hadoop2.6.0-Centos7.0真机安装过程

最新推荐文章于 2025-04-16 11:25:37 发布

原创最新推荐文章于 2025-04-16 11:25:37 发布 · 966 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文提供了一步一步搭建Hadoop2.6.0伪分布式环境的详细教程，包括JDK和Hadoop的安装配置、环境变量设置、无密码SSH配置、HDFS格式化及启动等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本： hadoop2.6.0
依赖： jdk1.8.0_40 , eclipse(java普通版) ， glibc_2.14
hadoop_eclipse_plugin_2.6.0
测试所用用户名： garreet.king
部署模式：伪分布式部署

1) 安装JDK，解压安装在/usr/program/jdk1.8.0_40目录下

chown -R garreet.king /usr/program/jdk1.8.0_40

2) 安装hadoop，解压安装在/usr/program/hadoop-2.6.0目录下

chown -R garreet.king /usr/program/hadoop-2.6.0

3) 在/etc/profile文件中配置JDK的环境变量，加到文件末尾

#set java environment
export JAVA_HOME=/usr/program/jdk1.8.0_40
export JRE_HOME=/usr/program/jdk1.8.0_40/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

4) 在/etc/profile文件中配置hadoop的环境变量，加到文件末尾

# set hadoop
export HADOOP_HOME=/usr/program/hadoop-2.6.0
export PATH=$HADOOP_HOME/bin:$PATH

5) 设置/etc/profile为可执行，并执行环境变量

chmod +x /etc/profile
source /etc/profile

6) 检查java和hadoop是否成功

java -version
hadoop version

7) 配置无密码ssh

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

8) 创建hadoop内的相关目录,在hadoop目录内执行命令

#临时目录
mkdir tmp
#数据目录
mkdir dfs 
cd ./dfs 
#名称节点目录
mkdir name 
#真实数据目录
mkdir data 
cd ..

9）配置hadoop,以下路径均为相对hadoop的路径
《etc/hadoop/hadoop-env.sh》文件中

export JAVA_HOME=/usr/program/jdk1.8.0_40

《etc/hadoop/core-site.xml》文件中

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/program/hadoop-2.6.0/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

《hdfs-site.xml》文件中

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
    <value>file:/usr/program/hadoop-2.6.0/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/program/hadoop-2.6.0/dfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

《mapred-site.xml》文件中

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

《 yarn-site.xml 》文件中：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

10）格式化hadoop的文件系统

hadoop namenode -format

看到dfs/name/current文件夹，就是成功了，这里只能执行一次
不然data和name里面的文件就不匹配了，修正的方法，这里不涉及

11.）启动hadoop

cd sbin
./start-dfs.sh
./start-yarn.sh

用 jps 命令查看，有以下进程则为成功
SecondaryNameNode
Jps
NameNode
DataNode
ResourceManager
NodeManager

12）验证hadoop

#创建一个目录
hadoop fs -mkdir /test
hadoop fs -ls /

看到 test 目录的描述，就是正确了