linux＜centOs＞下安装Hadoop3.版本

Hadoop学习笔记

第一章 Hadoop安装

---

---

前言

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

一、准备工作

操作系统使用的是centsOs7，其他系统操作指令会有不同

1. 安装jdk

   安装jdk步骤不详细说明，[点击查看centos安装jdk步骤](https://blog.youkuaiyun.com/dhr201499/article/details/81626466)

2. 配置ssh服务，设置免密登录

执行命令行：sudo yum install openssh-server。（如果已安装，则不需要安装ssh，验证方式直接输入ssh回车查看系统提示即可）
执行命令行：
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
验证方式：
ssh localhost ，如果没有提示输入密码，则设置免密登陆成功。

二、安装Hadoop3.3.2

1.下载

首先在根目录下创建文件夹hadoop。

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz

下载完成之后，解压文件

tar -zxvf ./hadoop-3.3.2.tar.gz 

在/usr/local/ 下新建文件夹hadoop，将解压文件移入新建文件夹

mv ./hadoop-3.3.0 /usr/local/hadoop

2.配置

进入到hadoop配置文件夹

cd /usr/local/hadoop/hadoop-3.3.2/etc/hadoop

2.1修改hadoop-env.sh

vim hadoop-env.sh
##写入下面的文件到最后##

export JAVA_HOME=你的jdk安装路径
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.3.2

2.2修改core-site.xml

查看hostname的方式：

cat /etc/hostname 
hostname

系统显示内容为你的hostname

vim core-site.xml
#写入下面的文件，注意hdfs后面是你的hostname，记得修改
#temp.dir，tlntin改成你的用户名，并且创建好相关字路径，用于缓存
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hostname:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/data</value>
    </property>
</configuration>

2.3修改hdfs-site.xml

vim hdfs-site.xml
# 写入下面的文件
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.http.address</name>
       <value>localhost:9870</value>
    </property>
</configuration>`

2.4修改mapred-site.xml

vim mapred-site.xml
# 写入下面的文件
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
                <final>true</final>
                <description>The runtime framework for executing MapReduce jobs</description>
        </property>
</configuration>

2.5修改yarn-site.xml

vim yarn-site.xml
# 写入下面的文件
# 注意MacbookPro改成你的HostName
<configuration>
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hostname</value>
    </property>
    <property>
            <name>yarn.nodemanager.hostname</name>
            <value>mapreduce_shuffle</value>
    </property>
</configuration>

2.6修改sbin下的几个文件（注意是有四个文件）

cd /usr/local/hadoop/hadoop-3.3.2/sbin
vim start-dfs.sh/stop-dfs.sh(分两次编辑start-dfs.sh和stop-dfs.sh文件)
# 在开头写入下面的内容（root改成你的用户名）
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vim start-yarn.sh/stop-yarn.sh(分两次编辑start-yarn.sh和stop-yarn.sh文件)
# 开头写入以下文件
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.7 修改bin目录下文件

cd /usr/local/hadoop/hadoop-3.3.2/bin
vim hadoop
# 把下面的用户名改成你的，这里只是测试使用，尽量使用自己创建的用户授权后操作
HADOOP_SHELL_EXECNAME="root"  # 原来是hadoop
vim hdfs
# 同上
HADOOP_SHELL_EXECNAME="root"  # 原来是hdfs
vim yarn
HADOOP_SHELL_EXECNAME="root"  # 原来是yarn

3.启动

3.1 初始化

./bin/hdfs namenode -format

3.2 启动dfs和yarn

./sbin/start-all.sh

3.3 查看

jps
# 出现下面代表成功，id号不一致无所谓
23922 DataNode
24170 SecondaryNameNode
8987 jar
7902 Jps
23775 NameNode

最后可以通过打开页面访问http://127.0.0.1:9870

---

总结

`以上就是今天笔记的内容，本文仅简单介绍了在centos下hadoop单点的安装方式。