centos7下安装hadoop2.x伪分布式版本

最新推荐文章于 2022-09-02 02:34:34 发布

Myueye

最新推荐文章于 2022-09-02 02:34:34 发布

阅读量281

点赞数

分类专栏： Linux 文章标签： linux hadoop

本文链接：https://blog.youkuaiyun.com/Myueye/article/details/106040186

版权

Linux 专栏收录该内容

21 篇文章

订阅专栏

本文详细介绍了在CentOS7系统中如何安装Hadoop2.x的伪分布式版本，包括创建hadoop用户、配置JDK、设置SSH无密码登录、下载安装Hadoop、配置伪分布式环境以及启动YARN的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.新建hadoop用户

 //创建新用户hadoop，并使用 /bin/bash 作为shell
su
useradd -m hadoop -s /bin/bash  
//设置密码为hadoop
passwd hadoop
//编辑hadoop用户权限
visudo //找到98行 在命令行模式  :98   即可进入98行，将信息添加以下内容  hadoop	ALL...   注意空格需按tab键

在这里插入图片描述
命令模式下按 :wq 保存
2.安装好JDK
链接：安装JDK
这个我在前面写过了，现在只需多加一步，添加环境变量

vi ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.8.0_251

3.配置ssh无密码登录

rpm -qa | grep ssh  //搜索是否已存在ssh

在这里插入图片描述
若需要安装

sudo yum install openssh-clients
sudo yum install openssh-server

cd ~/.ssh/                     // 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              //都按回车就可以
cat id_rsa.pub >> authorized_keys  // 加入授权。若没有这个文件则自己新建一个
chmod 600 ./authorized_keys    //修改文件权限 这里貌似必须是600，看网上的人踩过这个坑

测试：

ssh localhost

4安装hadoop
下载网址： http://mirror.bit.edu.cn/apache/hadoop/common/

sudo tar -zxf hadoop-2.7.7.tar.gz    //解压
sudo mv hadoop-2.7.7 /usr/local     //移动文件到/usr/local路径下
sudo mv hadoop-2.7.7 hadoop  	   //改名
sudo chown -R hadoop:hadoop ./hadoop    //修改文件权限

进入hadoop目录测试

./bin/hadoop version

在这里插入图片描述
5 hadoop伪分布式配置
有两种方法：
1：

vi ~/.bashrc    //编辑环境变量

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使环境生效

source ~/.bashrc

2：（我用的是这种）
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
注意配置文件里已有属性，我们只需在里面添加内容即可
进入 /usr/local/hadoop/etc/hadoop目录
修改core-site.xml文件

vi core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

修改 hdfs-site.xml：

vi hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

./bin/hdfs namenode -format //格式化

./sbin/start-dfs.sh   //开启服务

在这里插入图片描述
可以通过jps命令查看：（我这里就不放图了）

jps

这样算成功，而后可以登录 http://localhost:50070 去查看
在这里插入图片描述
6.启动YARN
修改文件名（不开启YARN就不要改文件名）

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

然后修改里面的内容，加入以下内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

接着yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

./sbin/start-yarn.sh      // 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  //开启历史服务器，才能在Web中查看任务运行情况

通过jps查看：
在这里插入图片描述
查看：登录 http://localhost:8088