7.Spark历史服务器配置及ha机制

最新推荐文章于 2025-05-06 15:09:22 发布
最新推荐文章于 2025-05-06 15:09:22 发布
阅读量339 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark学习笔记概念 文章标签： spark 服务器 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GCPOP/article/details/125325592
本文详细介绍了如何配置Spark历史服务器以记录任务运行情况，包括修改配置文件、日志存储路径和启动服务。同时，文章还探讨了Spark集群的高可用性配置，通过Zookeeper实现Master节点的故障切换，确保作业连续执行。此外，提到了Spark在Yarn模式下的部署以及不同部署模式的对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark运行环境

1. 配置历史服务

1.1 简介

  • 由于spark-shell停止掉后，集群监控hadoop-001:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1.2 如何配置

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2) 修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled     true
spark.eventLog.dir        hdfs://hadoop-001:9820/directory

注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /directory

3) 修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="

-Dspark.history.ui.port=18080 

-Dspark.history.fs.logDirectory=hdfs://hadoop-001:9820/directory 
-Dspark.history.retainedApplications=30"
  • 参数1含义：WEB UI访问的端口号为18080
  • 参数2含义：指定历史服务器日志存储路径
  • 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4) 分发配置文件

5) 重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6) 重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tUOToD7o-1655395863357)(assets/clip_image002.jpg)]

7) 查看历史服务：http://hadoop-001:18080

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-whtb8Vih-1655395863358)(assets/1650213418544.png)]

2. 配置高可用（HA）

2.1 概述

  • 所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置

2.2 集群规划

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-llBJouRv-1655395863359)(assets/1650789064861.png)]

2.3 配置方式

1) 停止集群

sbin/stop-all.sh

2) 启动Zookeeper

xstart zk

3) 修改spark-env.sh文件添加如下配置

注释如下内容：
#SPARK_MASTER_HOST=linux1
#SPARK_MASTER_PORT=7077

添加如下内容:
#Master监控页面默认访问端口为8080，但是可能会和Zookeeper冲突，所以改成8989，也可以自定义，访问UI监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989

export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop-001,hadoop-002,hadoop-003
-Dspark.deploy.zookeeper.dir=/spark"

4) 分发配置文件

  • 分发到hadoop-002
scp /opt/module/spark-standalone/conf/spark-env.sh  hadoop@hadoop-002:/opt/module/spark-standalone/conf/
  • 分发到hadoop-003
scp /opt/module/spark-standalone/conf/spark-env.sh  hadoop@hadoop-003:/opt/module/spark-standalone/conf/

5) 启动集群

sbin/start-all.sh

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-koDVgqxE-1655395863359)(assets/clip_image002-1650789091344.jpg)]

6) 启动linux2的单独Master节点，此时linux2节点Master状态处于备用状态

[root@linux2 spark-standalone]# sbin/start-master.sh

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UM91dP64-1655395863360)(assets/clip_image004.jpg)]

7) 提交应用到高可用集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop-001:7077,hadoop-002:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

8) 停止linux1的Master资源监控进程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UjTYEbni-1655395863361)(assets/clip_image006.jpg)]

9) 查看linux2的Master 资源监控Web UI，稍等一段时间后，linux2节点的Master状态提升为活动状态

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RYBH9ku0-1655395863362)(assets/clip_image008.jpg)]

3. Yarn模式

3.1 概述

  • 独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的Yarn环境下Spark是如何工作的（其实是因为在国内工作中，Yarn使用的非常多）。

3.2 修改配置文件

1) 修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->

<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>

 

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

2) 修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

mv spark-env.sh.template spark-env.sh

。。。

export JAVA_HOME=/opt/module/jdk1.8.0_212

YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop

3.4 启动HDFS以及YARN集群

3.5 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BmqaSBts-1655395863362)(assets/clip_image002-1650793617552.jpg)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hBdQpNEt-1655395863363)(assets/clip_image004-1650793617554.jpg)]

查看http://hadoop-002:8088页面，点击History，查看历史页面

4. 部署模式对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jltIv3G5-1655395863365)(assets/1650793859362.png)]

5. 端口号

  • Spark查看当前Spark-shell运行任务情况端口号：4040（计算）

  • Spark Master内部通信服务端口号：7077

  • Standalone模式下，Spark Master Web端口号：8080（资源）

  • Spark历史服务器端口号：18080

y，查看历史页面

4. 部署模式对比

[外链图片转存中…(img-jltIv3G5-1655395863365)]

5. 端口号

  • Spark查看当前Spark-shell运行任务情况端口号：4040（计算）

  • Spark Master内部通信服务端口号：7077

  • Standalone模式下，Spark Master Web端口号：8080（资源）

  • Spark历史服务器端口号：18080

  • Hadoop YARN任务运行情况查看端口号：8088

Spark on Docker：容器化大数据开发环境搭建指南
AI天才研究院
05-08 1124
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
Linux环境Spark安装配置及使用
热门推荐
weixin_33754065的博客
05-07 1万+
Linux环境Spark安装配置及使用 1. 认识Spark (1) Spark介绍 大数据计算引擎 官网：spark.apache.org/ 官方介绍：Apache Spark™ is a unified analytics engine for large-scale data processing.（Apache Spark™是一个用于大规模数据处理的统一分析引擎。） Spark是一种快速...
Spark配置历史服务器
weixin_45793819的博客
04-03 342
Spark配置历史服务器的好处： 1 可以查看spark-shell 每个执行任务的日志记录 2 可以查看spark 任务提交到Yarn运行的日志记录 在程序运行结束后, 依然能够查看运行过程 **-----------------------------------------------------------------------------------------------------...
Spark，配置历史服务
2301_80793400的博客
05-06 262
进入 /opt/module/spark-standalone/conf/spark-default.conf.temple 先把名称改成spark-default.conf，再补充两个设置。启动hadoop的hdfs服务（start-dfs.sh）,并在根目录创建目录directory。（注：4、5两步在上一条博客中直接一起配置了，所以这里可自行跳过）命令是 ./start-history-server.sh。四、修改spark-env.sh文件。命令是 ./start-all.sh。
Spark 配置历史服务器
涵sir的博客
07-20 1266
类似Hadoop，Spark也有自己的history server，这里我们就来配置下： 修改 spark-defaults.conf.template 文件名为 spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf 修改 spark-default.conf 文件，配置日志存储路径 spark.eventLog.enabled true spark.eventLog.dir
配置 spark 历史服务器
hj1993的博客
02-04 703
在没有退出之前, 我们是可以看到正在执行的任务的日志情况，一旦任务执行结束，web-ui就不能看到历史任务，需要额外配置历史服务器。
在spark中配置历史服务器
a1237564537的博客
04-30 490
通过以上步骤，你就能成功在 Spark 中配置并使用历史服务器了。要注意的是，配置完成后，后续运行的 Spark 作业的日志会被记录到指定的 HDFS 路径，这样你就能在历史服务器上查看这些作业的详细信息了。是 HDFS 名称节点的端口号。你要确保 HDFS 路径存在，并且 Spark 有写入该路径的权限。来查看 Spark 作业的历史记录，其中。是历史服务器的端口号，你可按需修改。是 HDFS 名称节点的主机名，是运行历史服务器的节点的主机名。若该文件不存在，可从。目录下，若文件不存在，可从。
hadoop分布式集群&spark on yarn集群安装配置
zld_555的博客
09-28 964
hadoop&spark on yarn安装配置 一 环境准备 3台 linux版本centos7.6 hadoop版本3.1.2 spark版本2.4.4 1.1 修改IP vim /etc/sysconfig/network-scripts/ifcfg-ens32 DEVICE="ens32" ONBOOT="yes" IPADDR="192.168.22.232" PREFIX=...
原生Hadoop3.X高可用配置方式
别人笑我太疯癫，我笑他人看不穿。
06-16 1498
Hadoop3.X版本，在2017年左右就有了第一个alpha版本，但是那个时候刚出来，所以没有人使用，到2018年3.0.0版本作为第一个3，X正式发布，截止当前本文书写时间，3.X版本已经发展到了3.4，在Hadoop的顶层设计上最大的区别就是在2.X的时候，高可用机制只允许一个在工作中，一个在备用，但是3.X的hadoop允许最多存在五套高可用节点。当然，官方推荐最多三套，自带的MR计算框架也由原来的纯磁盘运算加入了内存运算的设计。 在给大家介绍3.X如何搭建集群之前，要先给大家说一些理论上的东西，当
spark历史服务器配置（standalone）
破晓的成长之路
10-26 505
1、修改conf/spark-default.conf文件(mv spark-defaults.conf.template spark-defaults.conf)如下 #open the log services spark.eventLog.enabled true #set the work directory of log server spark.eventLog.d...
spark入门 配置历史服务器(四)
weixin_43205308的博客
06-07 311
进入conf文件夹。
Spark配置之历史服务器（HistoryServer）
guohuishan的博客
12-30 2577
为什么要配置历史服务器 DriverProgram:客户端；提交一个应用程序（application）以后，再提交一次，就无法查看之前的提交信息了；使用历史服务器就可以 具体配置过程如下：现有客户机（clus10，clus11，clus12，clus13） 首先启动zookeeper bin/zkServer.sh start bin/zkServer.sh status 查看状态（一个leade...
sparklinux服务器日志信息,启动 Spark 历史记录服务器 - AWS Glue
weixin_36290719的博客
08-06 457
本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。启动 Spark 历史记录服务器您可以使用在 EC2 实例上托管服务器的 AWS CloudFormation 模板启动 Spark 历史记录服务器，也可以使用 Docker 在本地启动 Spark历史记录服务器。使用 AWS CloudFormation 启动 Spark 历史记录服务器并查看 Spark UI您可以使用...
Spark 在Hadoop HA下配置HistoryServer问题
weixin_30421525的博客
07-18 258
我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错 Exception in thread "main" java.lang.reflect.InvocationTargetException at sun.refl...
spark的历史服务器配置
qq_45292079的博客
12-30 437
spark2.4.4、hadoop3.4.4
spark配置历史服务
sunlang的博客
04-29 1143
1：配置spark-default.conf文件, 开启 Log cp spark-defaults.conf.template spark-defaults.conf 在spark-defaults.conf文件中, 添加如下内容: spark.eventLog.enabled true spark.eventLog.dir hdfs://had...
在IDEA环境下，通过代码配置Spark历史服务器
qq_40135006的博客
09-28 762
在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置。使用命令启动历史服务器，可以看到启动的端口号，通过 http://localhost:端口号 访问历史服务器。在scala代码中的SparkSession添加以下配置。
我们有三台服务器，配置不同：-服务器1：64核CPU,128G内存（高性能节点）-服务器2：32核CPU,64G内存（中等性能节点）-服务器3：32核CPU,64G内存（中等性能节点）需要部署的组件：Hadoop,Hive，hdfs,Spark,Zookeeper,Azkaban,Sqoop,Prometheus,Grafana,Flume数据来源：WebAPI和数据库目标：构建离线数仓
最新发布
06-21
<think>我们有三台服务器，配置如下：1.高性能节点（Node1）：64核CPU,128G内存2.中等性能节点（Node2）：32核CPU,64G内存3.中等性能节点（Node3）：32核CPU,64G内存需要部署的组件：Hadoop（HDFS和YARN）、Hive、Spark、Zookeeper、Azkaban、Sqoop、Prometheus、Grafana、Flume。目标：构建离线数仓，数据源为WebAPI和数据库。部署原则：1.将资源密集型服务部署在高性能节点（Node1）上。2.考虑服务之间的依赖关系，例如Zookeeper需要奇数个节点（这里我们部署3个节点，但实际只有3台机器，所以每台都部署Zookeeper）。3.高可用性：对于关键组件（如HDFSNameNode、YARNResourceManager）考虑高可用，但由于只有三台机器且配置不同，需要权衡。4.监控组件（Prometheus和Grafana）可以部署在Node1上，因为它们对资源要求较高。具体部署方案：一、Hadoop集群部署（HDFS和YARN）1.HDFS：-NameNode：由于NameNode是内存密集型，部署在高性能节点Node1（主）和Node2（备），实现高可用（HA）。需要Zookeeper支持（使用ZooKeeperFailoverController）。-DataNode：三台节点都部署，因为存储需要分布在所有节点上。-SecondaryNameNode：可以部署在Node2上（但HA模式下通常不需要，这里可以不部署）。2.YARN：-ResourceManager：同样考虑高可用，部署在Node1（主）和Node2（备），需要Zookeeper支持。-NodeManager：三台节点都部署。注意：Node1作为高性能节点，可以分配更多的资源给YARN的NodeManager。二、Hive-HiveMetastore：部署在Node1上（需要MySQL数据库存储元数据，MySQL可以部署在Node1上，但生产环境建议独立，这里限于机器，部署在Node1）。-HiveServer2：部署在Node1上（因为它是客户端连接的入口，需要一定资源）。三、Spark-Spark的历史服务（HistoryServer）部署在Node1上。-Spark的Executor运行在YARN上，所以不需要单独部署Spark集群，只需在YARN上运行Spark作业即可。四、Zookeeper-三台节点都部署，组成一个集群（至少3个节点才能保证高可用）。注意配置相同的集群标识。五、Azkaban-AzkabanWebServer：部署在Node1上（需要连接数据库，使用Node1上的MySQL）。-AzkabanExecutorServer：可以部署在Node1和Node2、Node3上，但考虑到资源，可以部署在Node1和Node2上。六、Sqoop-作为数据导入导出工具，可以部署在任意节点，建议部署在Node1上（因为Node1性能最好，执行任务快）。七、Prometheus-部署在Node1上，因为它会收集所有节点的监控数据，需要一定的计算和存储资源。八、Grafana-部署在Node1上，与Prometheus在同一台机器，方便连接。九、Flume-根据数据源的位置，如果需要从多个WebAPI采集数据，可以在每个数据源所在的机器部署Flume，但这里我们的数据源是外部WebAPI和数据库，所以可以考虑部署在Node1上，或者根据数据量部署多个FlumeAgent。建议先部署在Node1上。十、数据库（MySQL）-部署在Node1上，用于HiveMetastore、Azkaban等组件的元数据存储。注意：如果资源紧张，可以考虑将MySQL部署在Node2或Node3，但Node1性能最好，所以放在Node1。资源分配建议（重点考虑Node1）：-Node1（64核128G）：Hadoop:NameNode(HAactive),DataNode,ResourceManager(HAactive),NodeManager（分配较多资源）Hive:Metastore,HiveServer2Spark:HistoryServerZookeeper:一个节点Azkaban:WebServer,ExecutorServerSqoop:客户端Prometheus,GrafanaFlume:AgentMySQL-Node2（32核64G）：Hadoop:NameNode(HAstandby),DataNode,ResourceManager(HAstandby),NodeManagerZookeeper:一个节点Azkaban:ExecutorServer-Node3（32核64G）：Hadoop:DataNode,NodeManagerZookeeper:一个节点注意：Zookeeper集群需要三台都部署，且配置一致。具体配置调整：1.Hadoop配置（hdfs-site.xml,core-site.xml,yarn-site.xml,mapred-site.xml）：-开启HDFSHA，使用QJM（QuorumJournalManager）和Zookeeper。-配置YARNHA。-调整YARN资源分配：Node1的NodeManager：可分配内存=112G（保留16G给系统和其他服务），CPU=60核（保留4核）Node2的NodeManager：可分配内存=56G（保留8G），CPU=28核（保留4核）Node3的NodeManager：可分配内存=56G（保留8G），CPU=28核（保留4核）在yarn-site.xml中配置：yarn.nodemanager.resource.memory-mb（每个节点可分配内存）yarn.nodemanager.resource.cpu-vcores（每个节点可分配的虚拟CPU核数）-调整HDFS的DataNode存储目录，根据每台机器的磁盘情况配置。2.Hive配置：-配置hive-site.xml，指定Metastore的数据库连接（MySQL）和HiveServer2的配置。3.Spark配置：-配置spark-defaults.conf，指定SparkonYARN的模式，以及事件日志目录（HDFS路径）。4.Zookeeper配置：-在每台机器的zoo.cfg中配置集群服务器列表。5.Azkaban配置：-配置WebServer和ExecutorServer的数据库连接（MySQL），并指定ExecutorServer的位置。6.Prometheus配置：-配置监控目标（targets），包括Hadoop、Hive、Spark等服务的指标暴露端口。7.Grafana配置：-添加Prometheus数据源，导入相关仪表盘模板。8.Flume配置：-根据数据源配置Agent的source、channel和sink（sink可以是HDFS或Kafka，但这里直接到HDFS）。数据流程设计：1.数据采集：-数据库数据：使用Sqoop定期导入到HDFS。-WebAPI数据：使用Flume（通过HTTPSource）或自定义脚本（使用curl等）获取，然后通过Flume写入HDFS。2.数据存储：HDFS。3.数据处理：使用Hive进行数据清洗和转换，或者使用Spark进行更复杂的ETL。4.任务调度：使用Azkaban调度Sqoop、Hive、Spark作业。5.监控：通过Prometheus收集各组件指标，Grafana展示。注意事项：1.由于Node1承载了太多服务，需要密切监控其资源使用情况，必要时调整服务部署（比如将MySQL移到Node2）。2.所有服务的日志统一收集（可考虑使用Flume收集到HDFS或Elasticsearch）。3.安全性：根据需求配置Kerberos等安全机制。部署步骤概要：1.准备环境：三台服务器配置主机名、hosts文件、SSH免密登录、JDK安装（建议JDK8或JDK11）。2.部署Zookeeper集群（三台节点）。3.部署Hadoop集群（HA模式）。4.部署MySQL（Node1），创建Hive和Azkaban所需的数据库。5.部署Hive（Node1）。6.部署Spark（主要是配置SparkonYARN，HistoryServer在Node1）。7.部署Azkaban（Node1和Node2）。8.部署Sqoop（Node1）。9.部署Prometheus和Grafana（Node1）。10.部署Flume（Node1）。以上是一个基本的部署方案，具体配置需要根据实际环境进行调整。§§相关问题§§1.如何配置Hadoop的HA（高可用）模式？2.在资源有限的情况下，如何优化YARN的资源分配？3.如何监控Hadoop集群的性能？</think>### 三台服务器离线数仓部署方案 根据服务器配置差异（高性能节点×1 + 中等节点×2）和组件特性，推荐以下部署策略： ```mermaid graph TD subgraph 高性能节点[64核/128G] A[HDFS NameNode主] --> B[YARN ResourceManager主] B --> C[Hive Metastore] C --> D[Spark History Server] D --> E[Azkaban Web Server] E --> F[Prometheus+Grafana] end subgraph 中等节点1[32核/64G] G[HDFS NameNode备] --> H[YARN ResourceManager备] H --> I[Zookeeper] I --> J[Flume Agent] J --> K[Sqoop] end subgraph 中等节点2[32核/64G] L[DataNode] --> M[NodeManager] M --> N[Zookeeper] N --> O[Flume Agent] O --> P[Azkaban Executor] end WebAPI -->|Flume采集| 中等节点1 DB -->|Sqoop导入| 中等节点2 Prometheus -.监控.-> 所有节点 ``` #### 一、组件部署分配方案 | **组件** | **部署节点** | **配置建议** | **说明** | |------------------|-------------------|------------------------------------------|-----------------------------| | **Hadoop HDFS** | | | | | - NameNode主 | 高性能节点 | 分配80G内存 | 元数据内存密集型[^1] | | - NameNode备 | 中等节点1 | 分配50G内存 | HA热备 | | - DataNode | 所有节点 | 磁盘按1:10分配内存比 | 三副本存储[^2] | | **YARN** | | | | | - ResourceManager主 | 高性能节点 | 分配40G内存 | 启用HA[^5] | | - ResourceManager备 | 中等节点1 | 分配30G内存 | | | - NodeManager | 所有节点 | 高性能节点：100G/56vCore<br>中等节点：50G/28vCore | 预留系统资源[^3] | | **Hive** | 高性能节点 | Metastore连接高性能节点MySQL | 元数据独立存储 | | **Spark** | 高性能节点 | History Server + Driver进程 | Executor跑在YARN上 | | **Zookeeper** | 所有节点 | 至少3节点 | 奇数集群保证选举[^4] | | **Azkaban** | | | | | - Web Server | 高性能节点 | 连接MySQL | 调度控制中心 | | - Executor | 中等节点2 | 分配20G内存 | 任务执行节点 | | **Sqoop** | 中等节点1 | JDBC连接池配置20线程 | 数据库导入专用节点 | | **Prometheus** | 高性能节点 | 存储卷独立SSD | 监控数据存储 | | **Grafana** | 高性能节点 | 共享Prometheus资源 | 可视化展示 | | **Flume** | 中等节点1&2 | 每节点部署Agent | WebAPI数据采集 | #### 二、关键配置优化 1. **HDFS HA配置** (`hdfs-site.xml`)： ```xml <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> <!-- 主备NameNode --> </property> ``` [^1][^2] 2. **YARN资源分配公式**： - 单节点最大容器数： $$ \text{容器数} = \min \left(2 \times \text{CPU核数}, \frac{\text{总内存GB}}{4}\right) $$ - 容器内存： ``` 高性能节点：4-8GB/容器 中等节点：2-4GB/容器 ``` [^3][^5] 3. **数据采集管道**： ```mermaid sequenceDiagram WebAPI->>Flume Agent: HTTP流式数据 Flume Agent->>HDFS: /raw/api/分区目录 DB->>Sqoop: JDBC定时拉取 Sqoop->>Hive: 导入ODS层分区表 ``` #### 三、存储设计最佳实践 1. **分层存储策略**： | **数据层** | **存储格式** | **压缩** | **生命周期** | |------------|----------------|------------|-------------| | 原始层(RAW) | 文本/JSON | Snappy | 30天 | | ODS层 | ORC | Zlib | 180天 | | DWD/DWS层 | Parquet | Zstd | 永久 | 2. **分区优化示例**（Hive DDL）： ```sql CREATE TABLE ods.user_behavior( user_id BIGINT, action STRING ) PARTITIONED BY (dt STRING, hour STRING) STORED AS ORC LOCATION '/warehouse/ods/user_behavior'; ``` #### 四、监控体系实现 ```mermaid graph LR Prometheus-->|采集| NodeExporter(服务器指标) Prometheus-->|采集| JMXExporter(Hadoop/Spark) Prometheus-->|采集| JVMExporter(Java组件) Grafana-->|查询| Prometheus Grafana-->|展示| Dashboard[监控大屏] ``` **关键监控指标**： - HDFS：`UsedCapacity`, `MissingBlocks`, `VolumeFailures` - YARN：`PendingContainers`, `AllocatedMB`, `ContainerLaunchDuration` - 计算任务：`SparkJobDuration`, `SqoopImportRate` #### 五、数据流验证脚本 ```bash # 检查HDFS写入状态 hdfs dfs -ls /raw/api/$(date +%Y%m%d) # 验证Sqoop导入 hive -e "SELECT COUNT(*) FROM ods.user_behavior WHERE dt='$(date +%Y-%m-%d)'" ``` > **部署注意事项** > 1. Zookeeper集群需配置相同的`myid`文件 > 2. Prometheus配置`scrape_interval: 15s`平衡监控开销 > 3. Hive Metastore建议使用MySQL高可用版 > 4. 跨节点服务通信需开放端口： > - HDFS：8020/9000 > - YARN：8030-8040 > - Zookeeper：2181/2888/3888
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值