Hadoop企业级部署

已于 2023-10-17 21:59:46 修改
阅读量115 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2023-10-17 21:06:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_59651968/article/details/133894017
版权

Hadoop企业级部署

node01 ：主节点，将node02和node03的磁盘挂载过来

node02 ：从节点

node03 ：从节点

一、磁盘挂载

  1. 查看磁盘命令

    fdisk -l

    在这里插入图片描述

  2. 查看磁盘挂载情况

    df -h

    在这里插入图片描述

  3. 新磁盘先格式化才能挂载xfs/ext4（node02）

    # 在Linux系统上创建XFS文件系统
mkfs.xfs -f /dev/sdb
mkfs.xfs -f /dev/sdc

    在这里插入图片描述

  4. 开始挂载磁盘（本机）(node02)

    # 先创建一个文件夹
mkdir /storage01
mkdir /storage02
# 开始挂载
mount /dev/sdb /storage01
mount /dev/sdc /storage02

    在这里插入图片描述

    # 取消挂载(不用执行)
umount /storage01
umount /storage02

    在这里插入图片描述

  5. 将其他虚拟机的磁盘挂载到另一台虚拟机需要借助nfs挂载技术 （node02）

    # 安装
yum -y install nfs-utils
# 修改配置（挂载权限）
vim /etc/exports  
# 添加两行
/storage01 *(rw,sync,no_subtree_check)
/storage02 *(rw,sync,no_subtree_check)
# 授权
chmod 777 /storage01
chmod 777 /storage02
# 设置为开机自动挂载磁盘
vim /etc/fstap
# 添加两行
/dev/sdb   /storage01  xfs  defaults  0   0
/dev/sdc   /storage02  xfs  defaults  0   0
# 启动nfs服务
systemctl start nfs-server
# 设置开机自启
systemctl enable nfs-server

  6. 至此，node02配置完成，node03也类似

  7. 开始配置node01

    # 创建挂载点，修改权限
mkdir -p /storage/storage01
mkdir -p /storage/storage02
mkdir -p /storage/storage03
mkdir -p /storage/storage04
chmod -R 777 /storage
# 修改配置
vim /etc/fstab
# 添加下方4行
192.168.48.20:/storage01 /storage/storage01 nfs vers=3,async,noatime,nodiratime 0 0
192.168.48.20:/storage02 /storage/storage02 nfs vers=3,async,noatime,nodiratime 0 0
192.168.48.30:/storage03 /storage/storage03 nfs vers=3,async,noatime,nodiratime 0 0
192.168.48.30:/storage04 /storage/storage04 nfs vers=3,async,noatime,nodiratime 0 0
# 挂载
mount -a

    在这里插入图片描述

二、安装Hadoop

  • 上传压缩包解压

    tar -zxvf hadoop-3.3.1.tar.gz -C /opt/module/

  • 修改 /opt/module/hadoop-3.1.3/etc/hadoop/ 下的配置文件

    • 修改 hadoop-env.sh

      # 添加如下内容
export JAVA_HOME=/opt/module/jdk1.8.0_211  # 指明JDK环境的位置
export HADOOP_HOME=/opt/module/hadoop-3.3.1  # 指明Hadoop安装位置
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  # 指明Hadoop配置文件目录位置
export HADOOP_LOG_DIR=$HADOOP_HOME/logs  # 指明Hadoop运行日志目录位置

    • 修改 core-site.xml

      <configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.3.1/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

    <!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <!-- 配置该root(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    <!-- 配置该root(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
    </property>

</configuration>

    • 修改 hdfs-site.xml

      <configuration>
    
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:50070</value>
    </property>

    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node01:9868</value>
    </property>

    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    
</configuration>

    • 修改 mapred-site.xml

      <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    • 修改 yarn-site.xml

      <configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>

    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>

    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

    • 修改 workers

      node02
node03

    • 注意：分发给其他节点，并修改其他节点的hdfs-site.xml文件，添加如下

      <!-- node02 hdfs的真实数据路径 -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///storage01,file:///storage02</value>
</property>



<!-- node03 hdfs的真实数据路径 -->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///storage03,file:///storage04</value>
</property>

  • 在每个节点配置环境变量 /etc/profile

    export JAVA_HOME=/opt/module/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  • 在node01节点添加root用户权限的环境变量 /etc/profile

    export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  • 在node01节点初始化namenode

    hdfs namenode -format

  • 在node01启动hdfs和yarn，使用jps查看每个节点的进程

    start-dfs.sh
start-yarn.sh

  • 在web端查看hdfs, 50070端口号是自己在hdfs-site.xml中设置的

    http://192.168.48.10:50070/

  • 如果想在web网页端向hdfs上传文件，需要在本地windows的hosts文件中配置IP映射

    192.168.48.10 node01
192.168.48.20 node02
192.168.48.30 node03

重点：

  • 配置历史服务器 (mapred-site.xml):为了查看程序的历史运行情况，需要配置一下历史服务器。

    <!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
</property>

  • 配置日志聚集(yarn-site.xml):应用运行完成以后，将程序运行日志信息上传到HDFS系统上,可以方便的查看到程序运行详情，方便开发调试

    <!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://node01:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

  • 启动历史服务器，前提是hdfs和yarn都启动了

    # 启动历史服务器
mapred --daemon start historyserver
# web端页面访问    http://192.168.48.10:19888/
# jps进程查看会多了一个JobHistoryServer服务
鲸落万物
关注
企业项目实战hadoop篇---hadoop安装部署（一）
qq_42003848的博客
08-15 1216
hadoop安装部署一.hadoop简介二.安装hadoop三.部署伪分布式hadoop四.部署分布式hadoop五. 部署分布式资源管理框架yarn 一.hadoop简介 HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。 HDFS的架构如图所示。HDFS架构采用主从架构（master/slave）。一个典型的HDFS集群包含一个NameNode节点和多个DataNod
HDFS集群优化
czxylzl的博客
03-02 424
操作系统级别优化 1.优化文件系统 （推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。） 2.预读缓冲 　　预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。 3.放弃RAID和LVM磁盘管理方式，选用JBOD 复制代码 不使用RAID 　　应避
Hadoop之企业级解决方案
anglemanyi的博客
10-02 1837
MapReduce程序执行时，Reduce节点大部分执行完毕，但是有一个或者几个Reduce节点运行很慢，导致整个程序处理时间变得很长，具体表现为：Reduce阶段一直卡着不动。Hadoop的HDFS和MapReduce框架是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。SequenceFile需要一个合并文件的过程，文件较大，且合并后的文件不方便查看，必须通过遍历查看每一个文件。解决方案是通常选择一个容器，将小文件同意组织起来，HDFS提供了两种类型的容器，分别是。
Hadoop-hdfs 设置磁盘
weixin_47099283的博客
12-20 791
Hadoop-hdfs 设置磁盘
Hadoop Hive HBase调优
赵英超的博客
01-07 1898
性能调优之于Hadoop来说无异于打通任督二脉，对于Hadoop的计算能力会有质的的提升，而运维之于Hadoop来说，就好像金钟罩、铁布衫一般，有了稳定的运维，Hadoop才能在海量数据之中大展拳脚，两者相辅相成，缺一不可。 总体来说，Hadoop运维维度取决于Hadoop的运行环境以及Hadoop软件本身。而Hadoop 性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身
基于Hadoop+SpringCloud+Vue的企业级网盘系统设计与实现
04-12
在当前数字化时代，企业对数据存储和管理的需求日益增长，基于Hadoop、SpringCloud和Vue技术栈的企业级网盘系统成为了解决这一问题的有效方案。本文将深入探讨这些技术如何结合，以构建一个高效、可扩展且用户友好的...
Hadoop企业级大数据平台-测试报告.docx
10-14
【Hadoop企业级大数据平台测试报告】 1. 测试目的 在企业环境中，Hadoop大数据平台的稳定性、性能和高可用性是至关重要的。测试的主要目的是确保Hadoop系统能够有效地处理大规模数据，提供可靠的存储和计算能力，并...
王家林的云计算分布式大数据Hadoop企业级开发动手实战
06-07
在此背景下，资深Android架构师王家林推出的课程——《云计算分布式大数据Hadoop企业级开发动手实战》，通过实践驱动的方式，对Hadoop及其在大数据处理中的应用进行了深度解析。 该课程以案例驱动教学，强调理论与...
Hadoop 2.5.0企业级集群部署指南
"本文档是关于Hadoop 2.5.0集群环境部署的详细指南，由公司内部针对10台服务器（每台配备Intel Xeon E5-2680处理器，32GB内存和千兆网卡）进行的部署经验总结。这些服务器的IP地址、安装的组件以及各自的角色如下： ...
linux xfs和ext4的区别
热门推荐
爱代码也爱生活
07-10 6万+
centos7.0开始默认文件系统是xfs，centos6是ext4，centos5是ext3 ext3和ext4的最大区别在于，ext3在fsck时需要耗费大量时间（文件越多，时间越长），而ext4在fsck时用的时间会少非常多 ext4是第四代扩展文件系统（英语：Fourth EXtended filesystem，缩写为ext4）是Linux系统下的日志文件系统，是ext
Linux 7.2 xfs和ext4性能测试
Vovis的博客
11-01 2万+
一、说明 红帽官方版本已经升级到7.2，该版本的标准文件系统已经由EXT4升级到XFS。从操作系统角度来讲，为了获取更好的支持和服务，此次测试EXT4和XFS的性能区别。 Ext4的文件系统容量达到1EB，而文件容量则达到16TB，这是一个非常大的数字了。对一般的台式机和服务器而言，这可能并不重要，但对于大型磁盘阵列的用户而言，这就非常重要了。 XFS是一个64位文件系统，最大支持8EB减1
[Hadoop性能调优]
程序车轮
05-11 1万+
一、 Hadoop概述   随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提...
XFS VS EXT4
weixin_30511039的博客
09-25 1294
ext4是第四代扩展文件系统（英语：Fourth EXtended filesystem，缩写为ext4）是linux系统下的日志文件系统，是ext3文件系统的后继版本ext4的文件系统容量达到1EB，而文件容量则达到16TB，这是一个非常大的数字了。对一般的台式机和服务器而言，这可能并不重要，但对于大型磁盘阵列的用户而言，这就非常重要了。ext3目前只支持32000个子目录，而ext4...
linux xfs 缩小大小,xfs文件系统调整lvm容量
weixin_35348635的博客
05-07 3043
关于xfs和ext4的区别，请自行度娘centos7默认xfs为文件系统， xfs因为只能增大，不能减少，所以需要调整/home，增大/,需要安装xfsdump,步骤如下，做个记录：yum install xfsdump -y查看现有分区情况：/dev/mapper/cl_hadoop-root 50G 3.1G 47G 7% /devtmpfs...
ext4、xfs脏数据下刷周期与设置
小码虫的博客
02-20 2752
ext4、xfs都具备延迟写入这一特性，可以极大的提升性能，减小碎片化。文件系统在一段时间间隔后，向磁盘下刷数据。 当然文件系统脏数据下刷周期设置为比较大的值会提升的读写性能，但是同时也带来了安全性的降低。 ext4的间隔时间与设置： ext4的默认间隔时间是5s 这一参数可以在mount的时候进行指定，添加如下参数进行指定 -o commit=10 XFS的间隔时间与设置： xfs的默认时间...
Hadoop(3) Hadoop伪分布式的搭建和重复格式化namenode的问题解决
Alaskyed的博客
12-23 2179
Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决 文章目录Hadoop(三) Hadoop伪分布式的搭建和重复格式化namenode的问题解决Hadoop伪分布式Hadoop伪分布式介绍Hadoop伪分布式的搭建HDFS伪分布式搭建yarn伪分布式搭建重复格式化namenode产生的问题及其解决方法 Hadoop伪分布式 Hadoop伪分布式介绍 伪分布式指...
xfs和ext4文件系统大小调整
好记性不如烂笔头
07-17 5009
resize2fs命令 针对的是ext2、ext3、ext4文件系统xfs_growfs命令 针对的是xfs文件系统 1、ext2/ext3/ext4文件系统的调整命令是resize2fs（增大和减小都支持） 1 2 3 4 5 lvextend -L 120G/dev/mapper/centos-home#增大至120G lvextend -L +20G/dev/mappe...
Hadoop的性能优化
不言尘世
05-12 1492
**Hadoop参数优化的3个原则 （1）增大作业的并行程度，如增加Map任务的数量 （2）保证任务执行时有足够的资源 （3）满足前两个的情况下，尽可能为shuffle阶段提供资源 【以上适用于大部分分布式计算的框架】 1. Hadoop客户端的概念 Hadoop是主从架构，具体存储和计算由从节负责，主节点负责调度、元数据存储、资源管理。一般讲提交计算任务的工作放在主节点完成。实际上在集群中的任意一个节...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值