Hadoop学习-2-Hadoop集群部署（非高可用）

原创已于 2022-11-28 10:06:28 修改 · 204 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #学习 #大数据

于 2022-11-28 10:05:10 首次发布

Hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何在master服务器上部署Hadoop 3.2.4，包括下载安装包、配置环境变量、修改核心和配置文件，以及启动集群和检查web界面。重点涉及系统路径设置、HDFS和YARN配置。

Hadoop集群部署

下载安装包
- https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
- 上传到master服务器
解压安装包
- tar -zxvf hadoop-3.2.4.tar.gz

修改系统配置文件

# /etc/profile
export HADOOP_HOME=/opt/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改配置文件(*/hadoop/etc/hadoop/)

Hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8.0_311

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

Core-site.xml

		<!--主节点-->
		<property>
        <name>fs.defaultFS</name>
        <value>hdfs://node-01:8020</value>
    </property>
		<!--tmp文件夹上层路径，元数据也会保存在该文件夹-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data/hadoop</value>
    </property>
		<!--HDFS用户-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

Hdfs-site.xml

<configuration>
  	<!--hdfs备节点-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node-02:9868</value>
    </property>
		<property>
  		<name>dfs.replication</name>
      <value>3</value>
  	</property>
</configuration>

maprd-site.xml

		<property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
		<!--MapReduce任务启动方式-->	
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

Yarn-site.xml

<!--yarn主节点，resourcemanager节点-->
<property>
    <name>yarn.resoucemanager.hostname</name>
    <value>node-01</value>
</property>
<!--shuffle功能-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!--执行任务最小内存-->
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>256</value>
</property>
<!--执行任务的最大内存-->
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>1600</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>node-01:8032</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>node-01:8030</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>node-01:8031</value>
  </property>

集群启动

sh hadoop/sbin/star-all.sh
web页面查看
- hdfs: Node-01:9870
- yarn: node-01:8080