Hadoop伪分布式的搭建

最新推荐文章于 2019-11-10 21:10:28 发布

原创最新推荐文章于 2019-11-10 21:10:28 发布 · 423 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

4 篇文章

订阅专栏

本文提供Hadoop2.5.0-cdh5.3.6版本的详细安装步骤，涵盖用户创建、主机名设置、SSH免密码登录、JDK安装、Hadoop环境搭建及启动验证等关键环节。

这里我使用的hadoop的版本为hadoop2.5.0-cdh5.3.6。传送门:下载地址

安装步骤：
1.创建用户，使用hadoop用户
2.修改主机名以及ssh免密码登录
3.jdk安装

4.hadoop安装

1.1步骤：
1. 使用useradd hadoop添加用户
2. 使用passwd hadoop设置用户密码，密码自拟
3. 给用户赋予使用sudo命令的权限。
4. chmod u+w /etc/sudoers
6. vim /etc/sudoers
7. 在root ALL=(ALL) ALL下面加上一行hadoop ALL=(ALL) ALL。（分隔的是制表符）

8. chmod u-w /etc/sudoers

2.1Hadoop环境搭建-修改主机名以及ssh免密码登录

步骤：（使用hadoop用户登录）
1. 使用sudo hostname hadoop修改主机名，当前生效，重启后失效。
2. 使用vim /etc/sysconfig/network修改主机名，重启生效。
3. 在/etc/hosts文件中添加主机名对于的ip地址。
4. 使用ssh-keygen -t rsa生成ssh秘钥。dsa
5. 进入.ssh文件夹，创建authorized_keys文件，并将id_rsa.pub的内容添加到文件中去，修改文件权限为600(必须)。

6. ssh hh验证

3.1步骤：
1. 复制jdk压缩包到softs文件夹中
2. 解压tar -zxvf softs/jdk-7u79-linux-x64.tar.gz
3. 创建软连接sudo ln -s /home/hadoop/bigdater/jdk1.7.0_79 /usr/local/jdk
4. 配置相关环境变量vim ~/.bash_profile: JAVA_HOME, CLASSPATH, PATH。全局生效配置文件/etc/profile。
5. 使环境变量生效 source ~/.bash_profile

7. 验证java version/ javac version

4.1Hadoop环境搭建-hadoop安装

步骤：
1. 下载hadoop安装包并复制到到softs文件夹中。
2. 解压tar -zxvf softs/hadoop-2.5.0-cdh5.3.6.tar.gz，并创建数据保存文件hdfs(~/bigdater/hadoop-2.5.0-cdh5.3.6/hdfs/)。
3. 配置hadoop-env.sh mapred-env.sh yarn-env.sh文件
4. 配置基本环境变量core-site.xml文件
5. 配置hdfs相关变量hdfs-site.xml文件
7. 配置mapre相关环境变量mapred-site.xml文件
8. 配置yarn相关环境变量yarn-site.xml文件
9. 配置datanode相关变量slaves文件

10. 配置hadoop相关环境变量

4.11 编辑文件hadoop-env.sh

4.12 mapred-env.sh

4.13 yarn-env.sh

4.14 core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop:8020</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/tmp</value>
        </property>
</configuration>

4.15 hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/name</value>
                <description> namenode 用来持续存放命名空间和交换日志的本地文件系统路径 </description>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/softs/hadoop-2.5.0-cdh5.3.6/hdfs/data</value>
                <description> DataNode 在本地存放块文件的目录列表，用逗号分隔 </description>
        </property>
        <property>
                 <name>dfs.replication</name>
                 <value>1</value>
                 <description> 设定 HDFS 存储文件的副本个数，默认为1</description>
        </property>
        <property>
                <name>dfs.permissions.enabled</name>
                <value>false</value>
        </property>
</configuration>

4.16 mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

4.17 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
        </property>
</configuration>

4.18 修改slaves文件

将文件的内容修改为主机名称

4.19配置hadoop相关环境变量（vim /etc/profile）

#hadoop
export HADOOP_HOME=/usr/local/softs/hadoop-2.5.0-cdh5.3.6/
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. Hadoop环境搭建-hadoop启动

步骤：
1. 第一次启动hadoop之前需要格式化namenode节点，命令为hadoop namenode -format。
2. 两种方式启动start-all.sh或者start-hdfs.sh start-yarn.sh。

3. 查看是否启动成功。

6.Hadoop环境搭建-验证hadoop是否启动成功

步骤：
1. 验证hadoop是否启动成功有两种方式，第一种：通过jps命令查看hadoop的进行是否启动，第二种：查看web界面是否启动显示正常内容。
2. 验证hadoop对应的yarn(MapReduce)框架是否启动成功：直接运行hadoop自带的example程序。
使用hadoop自带的mapreduce程序验证：/home/hadoop/bigdater/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar
将文件内容添加上去后执行：hadoop jar hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /test.txt output/1234