centos7安装hadoop 单机版

本文详细描述了如何在Linux系统上安装Hadoop3.1.3,包括解压、配置环境变量、修改核心、HDFS、MapReduce和YARN配置,以及初始化、设置SSH免密登录和启动服务的过程,最后进行了测试验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.解压

(1)将hadoop压缩包复制到/opt/software路径下

(2)解压hadoop到/opt/module目录下

[root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)修改hadoop属主和属组

[root@kb135 module]# chown -R root:root ./hadoop-3.1.3/

2.配置环境变量

[root@kb135 module]# vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

修改完之后[root@kb135 module]# source /etc/profile

3.在hadoop目录创建data目录

[root@kb135 module]# cd ./hadoop-3.1.3/

创建目录data

[root@kb135 hadoop-3.1.3]# mkdir ./data

4.修改配置文件

进入/opt/module/hadoop-3.1.3/etc/hadoop目录,查看目录下的文件,配置几个必要的文件

(1)配置core-site.xml

[root@kb135 hadoop]# vim ./core-site.xml

<configuration>

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://kb135:9000</value>

    </property>

    <property>

      <name>hadoop.tmp.dir</name>

      <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <property>

      <name>hadoop.http.staticuser.user</name>

      <value>root</value>

    </property>

    <property>

      <name>io.file.buffer.size</name>

      <value>131073</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>*</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.groups</name>

      <value>*</value>

    </property>

 </configuration>

(2)配置hadoop-env.sh

[root@kb135 hadoop]# vim ./hadoop-env.sh

修改第54行

export JAVA_HOME=/opt/module/jdk1.8.0_381

(3)配置hdfs-site.xml

[root@kb135 hadoop]# vim ./hdfs-site.xml

<configuration>

   <property>

     <name>dfs.replication</name>

     <value>1</value>

   </property>

   <property>

     <name>dfs.namenode.name.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>

   </property>

   <property>

     <name>dfs.datanode.data.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>

   </property>

   <property>

     <name>dfs.permissions.enabled</name>

     <value>false</value>

   </property>

</configuration>

(4)配置mapred-site.xml

[root@kb135 hadoop]# vim ./mapred-site.xml

<configuration>

    <property>

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.address</name>

      <value>kb135:10020</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>kb135:19888</value>

    </property>

    <property>

      <name>mapreduce.map.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.reduce.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.application.classpath</name>

      <value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*</value>

    </property>

</configuration>

(5)配置yarn-site.xml

[root@kb135 hadoop]# vim ./yarn-site.xml

<configuration>

   <property>

     <name>yarn.resourcemanager.connect.retry-interval.ms</name>

     <value>20000</value>

   </property>

   <property>

     <name>yarn.resourcemanager.scheduler.class</name>

     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

   </property>

   <property>

     <name>yarn.nodemanager.localizer.address</name>

     <value>kb135:8040</value>

   </property>

   <property>

     <name>yarn.nodemanager.address</name>

     <value>kb135:8050</value>

   </property>

   <property>

     <name>yarn.nodemanager.webapp.address</name>

     <value>kb135:8042</value>

   </property>

  <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

   </property>

   <property>

     <name>yarn.nodemanager.local-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/yarn</value>

   </property>

   <property>

     <name>yarn.nodemanager.log-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/log</value>

   </property>

   <property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

   </property>

</configuration>

(6)配置workers

[root@kb135 hadoop]# vim ./workers

修改为kb135

5.初始化hadoop

进入/opt/module/hadoop-3.1.3/bin路径

[root@kb135 bin]# hadoop namenode -format

6.设置免密登录

[root@kb135 ~]# ssh-keygen -t rsa -P ""

[root@kb135 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

[root@kb135 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb135

7.启动hadoop

[root@kb135 ~]# start-all.sh

查看进程

[root@kb135 ~]# jps

8.测试

网页中输入网址:http://192.168.142.135:9870/

CentOS 7安装 Hadoop 单机版主要包括几个步骤,假设你已经连接了网络并且有必要的权限: 1. **更新系统**: ``` sudo yum update -y ``` 2. **安装 Java**: Hadoop需要Java运行环境,你可以选择官方推荐版本(如JDK 8 或更高),例如: ``` sudo yum install java-1.8.0-openjdk-devel -y ``` 3. **下载Hadoop**: 从Apache官网下载适合CentOS 7Hadoop二进制包,通常建议下载Hadoop 2.x系列(如Hadoop 2.7或以上),然后解压到一个目录,比如`/usr/local/hadoop`: ``` wget http://www.apache.org/dist/hadoop/common/hadoop-2.x/stable/hadoop-2.x.y.tar.gz tar -zxvf hadoop-2.x.y.tar.gz -C /usr/local/ ``` 4. **配置Hadoop**: - 创建必要的目录结构:`sudo mkdir -p /usr/local/hadoop/etc/hadoop` - 配置核心-site.xml、hdfs-site.xml和mapred-site.xml等文件。这通常涉及修改`core-site.xml`中的`fs.default.name`设置为`hdfs://localhost:9000`,`hdfs-site.xml`中的`dfs.replication`设置为1,以及`mapred-site.xml`中的相关设置。 - 编辑`vim /etc/profile`添加Hadoop环境变量,例如: ```bash export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.265-0.b17.el7_7.x86_64 export PATH=$JAVA_HOME/bin:$PATH:/usr/local/hadoop/bin ``` 5. **启动Hadoop服务**: - 初始化HDFS集群:`cd /usr/local/hadoop && ./sbin/hadoop namenode -format` - 启动守护进程:`./sbin/start-dfs.sh` 和 `./sbin/start-yarn.sh` 6. **验证安装**: 使用命令行工具如`jps`检查Hadoop进程是否正在运行,通过浏览器访问`http://localhost:50070`查看Hadoop Web UI。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值