HDFS读数据分析(四)：用Spark做计算引擎时，是否会根据HDFS数据本地性来分配Task到特定的Datanode

最新推荐文章于 2022-11-30 14:37:03 发布
原创 最新推荐文章于 2022-11-30 14:37:03 发布 · 409 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark

本文深入探讨了Spark中DAGScheduler如何根据RDD的Partition本地性分配任务至特定Datanode，介绍了TaskSetManager.computeValidLocalityLevels函数的作用，以及Spark如何通过调整LocalityLevels实现资源高效利用。

一、前言

1. 版本：
Hadoop 源码版本: Version 2.7.1

二、内容

Spark的DAGScheduler是否会根据RDD的Partition包含的数据本地性，来分配Task到特定的Datanode来处理？代码在哪里？

代码在TaskSetManager.computeValidLocalityLevels函数里，它会赋值TaskSetManager.myLocalityLevels 的成员变量。Spark数据本地化即移动计算而不是移动数据，资源不够时可在该Locality Levels对应的限制时间内重试，超过限制时间（spark.locality.wait　3s 或者spark.locality.wait.process/.node/.rack）后还无法启动则降低Locality Levels再尝试启动。

另贴，https://blog.youkuaiyun.com/don_chiang709/article/details/86476525

三、参考

[spark] 数据本地化及延迟调度：https://blog.youkuaiyun.com/don_chiang709/article/details/86476525

Spark详细的scheduler调用流程：https://www.cnblogs.com/wzzkaifa/p/7229982.html

 

Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
OopsOutOfMemory盛利的博客
04-21 2万+
目前spark的Run on的hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0
Spark Task：移动计算策略——任务调度数据本地性
Big_data_implicit_
12-15 770
PROCESS_LOCAL：一个JVM内部，将RDD缓存、Executor、数据所在的datanode在同一个进程内 NODE_LOCAL：在多个Executor之间，同一台主机上进行调度 RACK_LOCAL：在同一个机架内 NO_PREF：不考虑 ANY：任意都可以 其中优先的顺序是：PROCESS_LOCAL>NODE_LOCAL>RACK_LOCAL 可以分别设置spark.locality.wait.process、spark.locality.wait.node、sp
为数据计算提供强力引擎，阿里云文件存储HDFS v1.0公测发布 ...
weixin_34174132的博客
03-22 143
在2019年3月的北京云栖峰会上，阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS，为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力，降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题，用户无须花费精力维护和优化底层存储。云时代，通过借助虚拟化技术，大数据分析的计算框架在云上...
java 从 HDFS 读取数据到本地文件
骑着蜗牛向前跑的博客
08-07 1209
java 代码从 hdfs 读取数据到本地文件并合并数据
Hadoop 底层计算引擎优化 专篇 干货
禧年
05-15 832
目录：MapReduce 跑的慢的原因整理Mapreduce 程序效率的瓶颈在于两点：1）计算机性能3.2.1 数据输入3.2.2 Map阶段3.2.3 Reduce阶段3.2.4 IO传输方法1：抽样和范围分区方法2：自定义分区方法3：Combine3.2.5 常用的调优参数（2）应该在yarn启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）2）容错相关参数(mapreduce性能优化)3.2.6 HDFS小文件优化方法4.1 HDFS小文件弊端4.2 解决方案 【转载注明
HDFS+Spark(Hive On Spark)+Flume/Shell架构进行大数据分析
pumbaa51203889的博客
12-23 551
前言 公司需要对数据进行运营分析，为了满足运营大数据分析的需求，决定采用hadoop进行数据分析查询 经过研究打算采用如下架构 游戏服通过http方式把日志消息写入到BI服务器，BI服务器通过log4j记录日志信息。然后把日志文件导入HDFS中，通过Spark进行数据的统计查询。 这里把日志文件导入HDFS中有两种方法： 1、flume 定时把日志文件拷贝到flume监控的目录下，...
本地Spark环境读取云上的HDFS文件
qq_41355565的博客
06-21 1104
本地Spark环境读取云上的HDFS文件踩坑指南
拥抱大数据——初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
01-20
总结来说，Hadoop提供了一个强大且灵活的大数据处理平台，通过HDFS实现数据的分布式存储，借助MapReduce进行分布式计算，再由YARN进行资源调度，形成了一个完整的解决方案。随着Hadoop的发展，其生态系统不断完善，...
HDFS数据完整性保护：权威指南，教你如何构建最强数据校验框架
![HDFS数据完整性保护：权威指南，教你如何构建最强数据校验框架]...HDFS存储着大量的结构化和非结构化数据，数据的完整性直接关系到数据处理的准确性。在分布式环境中，硬件故障、网络问题和人为因素
Impala高性能探秘之HDFS数据访问
Hello World
07-11 9092
Impala是一个高性能的OLAP引擎，Impala本身只是一个OLAP-SQL引擎，它访问的数据存储在第三方引擎中，第三方引擎包括HDFS、Hbase、kudu。对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequence file等。对于HDFS文件格式，Impala不支持更新操作，这主要限制于HDFS对于更新操作的支持比较弱。本文主要介绍
hdfs 副本放置策略及快照功能简介
lixia0417mul2的博客
08-03 1228
hdfs 副本放置策略 hdfs 快照
Hadoop生态系统：各计算引擎及工具的产品分析
weixin_29403917的博客
11-30 1287
大数据工具分析
spark读取hdfs数据本地性异常
weixin_30381317的博客
09-24 196
在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。 一.问题描述 在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark的任务中的locality还是ANY，这说明所有的数据都是...
Hadoop数据本地化
qq_36864672的博客
11-08 2888
首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本地化特征。       通常输入的数据首先将会分片split，每个分片上构建一个map任务，由该任务执行执行用户自定义的map函数，从而处理分片中的每条记录。       那么切片的大小一般是趋向一个HDFS的block块的大小。为什么最佳的分片大小是趋向HDFS块的大小呢？是因为这样能够确保单节点上最大输入块
Spark的计算本地性
走向程序的康庄大道
05-02 1264
Spark 不同的 Locality LevelPROCESS_LOCAL: 数据和 task 在同一个executor jvm 中，最好的就是这种 locality。NODE_LOCAL: 数据在同一个节点上。比如数据在同一个节点的另一个 executor上；或在 HDFS 上，恰好有 block 在同一个节点上。速度比 PROCESS_LOCAL 稍慢，因为数据需要在不同进程之间传递或从文件中...
SPARK-SQL - 读写数据的时候使用分区 partitionBy()
小哇
08-11 6066
关键代码partitionBy() dataset_1.write() .mode(SaveMode.Overwrite) .partitionBy("year", "month", "day") .parquet(Utils.BASE_PATH + "/trackerSession_partition"); 代码示例 import org.apache.spark.sql.Dataset; impo.
SparkStreaming读取kafka数据进行反序列化以及mapPartition优化实例
andyliuzhii的专栏
08-07 2737
val monitorWrappedMessage1 =  KafkaUtils.createStream[String,  Array[Byte], StringDecoder, DefaultDecoder](       ssc, kafkaParams, topicMap, StorageLevel.MEMORY_AND_DISK_SER_2).mapPartitions( partit
Hadoop及其核心组件（HDFS（存储） Mapreduce（计算）Hive（工具）Hbase（数据库））
zcyzcyjava的博客
09-01 3041
​ Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。 ​
spark运行时候datanode无故消失
贾慧玉的博客
12-14 890
这应该是多次格式化节点，或者集群不按照正常程序关机开启导致的错误，导致namenode clusterID和datanode clusterID前后不一致 解决方案： （1）在hadoop文件加下sbin/stop-all.sh （2）检查jps没有集群线程在运行了 （3）找到 Hadoop文件加下/dfs/data （4）删除data文件夹下的临时文件current等 （5）重新格式化
这表明虽然有 2 个数据节点在运行，但它们都被排除在操作之外，导致无法写入数据。错误发生在 Spark 尝试上传依赖文件到 HDFS 时。
最新发布
06-05
<think>首先，用户的问题是："我想解决Spark上传依赖文件到HDFS时由于数据节点被排除而无法写入数据的问题"。所以，核心是解决在使用Spark上传文件到HDFS时，因为数据节点被排除（excluded）导致无法写入数据的问题。从系统指令，我需要：-使用$...$格式的行内数学表达式（如果适用），但问题中可能不涉及数学公式。-对于独立公式，使用$$...$$格式（如果适用）。-LaTeX语法正确。-使用中文回答。-生成相关问题。-在引用的段落末尾自然地添加引用标识。-回答结构清晰，逐步解决问题。-参考用户上一次的问题和我的回答。用户提供了引用和上次问题，我需要回顾那些引用。引用内容：-[^1]:HDFS简介，大文件分割、副本机制。-[^2]:使用Spark在HDFS上创建文件。-[^3]:Spark的addFile()与HDFS上传对比。-[^4]:HDFS块信息异常导致Spark无法读取数据。-[^5]:Spark上传文件到HDFS的相关信息。用户的问题是具体关于上传时数据节点被排除的问题。引用[^4]提到"HDFS块信息异常，spark无法读取数据"，涉及类似问题，但这里是读取问题，而用户是上传问题。同样，是文件写入中断导致问题。关键点：数据节点被排除（excluded）。在HDFS中，节点可能由于各种原因（如节点故障、网络问题）被排除在写操作之外。我的回答需要结构化：1.**理解问题**：描述问题原因。2.**解释原因**：基于HDFS机制。3.**提供解决方案**：逐步解决。4.**生成相关问题**：在末尾添加相关问题。使用中文。可能的原因：-HDFS的副本机制：上传时，需要将数据块写入多个副本。如果一个或多个节点被排除，写入操作会失败。-Spark上传：用户提到了使用Spark上传依赖文件，可能通过sc.addFile()或HDFS命令。-引用[^4]提到HDFS块信息异常，由于文件写入中断，导致块信息不完整，这类似。解决方案思路：1.**检查HDFS健康状态**：确保所有DataNode健康。2.**处理被排除节点**：修复或移除被排除节点。3.**调整写入参数**：例如，减少副本因子或使用其他方法。4.**使用Spark的addFile()替代HDFS上传**：从引用[^3]，addFile()可能更鲁棒。5.**错误处理和重试机制**：在代码中处理异常。结构化回答：-**问题概述**：简述问题。-**原因分析**：解释为什么节点被排除会导致无法写入。-**解决方案步骤**：逐步列出。-步骤1:检查HDFS配置和健康状态。-步骤2:确保节点不被错误排除。-步骤3:使用Spark内置方法如addFile()。-步骤4:减少副本因子或临时调整。-步骤5:处理写入异常。-**最佳实践**：总结建议。-**相关问题生成**：最后生成相关问题。确保引用：在引用的地方自然地添加引用标识。例如，参考引用[^4]来分析问题。添加引用标识：比如，提到副本机制时，加[^1]。数学表达式：如果不涉及，就不必强制添加。但如果有计算，如概率或优化，用$...$。用户上次问题：用户提供了引用，但用户说"参考用户上一次的问题和你的回答"，这里是第一个交互，所以我需要参考这些引用。最终，输出格式：-回答部分。-§§相关问题§§部分。现在，撰写回答。</think> ### 解决 Spark 上传依赖文件到 HDFS 时由于数据节点被排除而无法写入数据的问题 在 Spark 应用中上传依赖文件（如模型文件或自定义库）到 HDFS 时，如果遇到数据节点（DataNode）被排除（excluded）导致写入失败，这通常是 HDFS 健康状态异常或配置问题引起的。HDFS 的写入操作依赖于 DataNode 的有效性和副本机制：上传文件时，HDFS 会将文件分割为数据块（Block，默认128MB），并在多个 DataNode 上创建副本（默认三个）[^1]。如果部分节点被排除（如因网络故障、节点挂起或资源不足），HDFS 无法完成副本写入，从而导致 Spark 操作报错（例如 `IOException` 或 `BlockMissingException`）。常见原因包括 DataNode 不可达、块信息不一致（类似引用[^4]中提到的文件写入中断问题）或集群负载过高。 下面我将基于 HDFS 和 Spark 的机制，为您提供结构化的解决方案。整个过程分为问题验证、问题解决和错误预防三步，确保数据可靠写入。核心思路是：确保 HDFS 健康，优化写入策略，并添加故障处理。 #### 步骤 1: 验证 HDFS 状态和错误根源 首先，确认问题是否确实由数据节点被排除引起，并检查集群健康状况： - **检查 DataNode 排除状态**：登录到 HDFS Namenode 机器，运行 HDFS 命令查看排除节点列表： ```bash hdfs dfsadmin -report | grep "Excluded Nodes" # 查看排除节点 ``` 如果输出显示有节点被排除（例如状态为 `DECOMMISSIONED` 或 `UNHEALTHY`），则原因是节点故障或配置错误。排除节点通常因 `hdfs-site.xml` 中的 `dfs.hosts.exclude` 文件触发[^1]。 - **检查块信息完整性**：类似引用[^4]，写入中断可能导致块信息异常。使用以下命令扫描 HDFS 块错误： ```bash hdfs fsck /path/to/your/upload/directory -files -blocks -locations # 检查指定路径的块信息 ``` 如果报告 `MISSING_BLOCKS` 或 `CORRUPT_BLOCKS`，表明部分数据块信息损坏，这会导致新写入无法分配到健康节点。 - **监控集群健康**：在 Spark 应用中添加日志，捕获异常： ```python from pyspark import SparkFiles from pyspark.sql import SparkSession import os spark = SparkSession.builder.enableHiveSupport().getOrCreate() sc = spark.sparkContext try: # 尝试上传文件到 HDFS source_path = "/local/path/to/model.tar.gz" # 本地文件路径 target_path = "hdfs://namenode:8020/path/to/target/model.tar.gz" sc.addFile(source_path) # 使用 Spark 内置方法上传 sc.parallelize([os.path.basename(source_path)]).saveAsTextFile(target_path) # 测试写入 print("上传成功") except Exception as e: print(f"上传失败: {e}") # 捕获异常，例如 'Could not write block: no nodes available' ``` 异常信息通常为 `No live nodes contain current block` 或类似内容，表示无可用节点写入副本。这一步可验证问题，同时引用[^4]强调文件写入中断会导致类似错误。 如果确认节点被排除或块信息异常，则进入解决步骤。 #### 步骤 2: 解决被排除节点问题 针对排除节点，通过修复节点状态或调整写入机制来恢复上传： - **修复或重新包含排除节点**： - 检查 DataNode 故障原因：登录到被排除节点，查看日志 `/var/log/hadoop-hdfs/hdfs.log` 是否有网络超时或磁盘错误。 - 重新包含节点：编辑 `hdfs-site.xml`，确保 `dfs.hosts.exclude` 文件不包含健康节点，并更新配置： ```bash # 停止排除节点 hdfs dfsadmin -refreshNodes # 刷新配置 # 重启 DataNode（如在问题节点上运行） systemctl restart hadoop-hdfs-datanode ``` 如果节点无法修复，需从集群中永久移除并添加新节点[^1]。 - **优化写入策略以避开排除节点**： - **减少副本因子**：临时降低副本数（例如从默认3降到1），减少对多个节点的需求。在提交 Spark 作业时覆盖 HDFS 配置： ```bash spark-submit --conf spark.hadoop.dfs.replication=1 your_app.py ``` 但注意，这会降低数据可靠性[^1]。 - **使用 Spark 的 `addFile()` 替代直接 HDFS 上传**：从引用[^3]，`sc.addFile()` 将文件广播到 Worker 节点，而不是直接依赖 HDFS 写入，避免 HDFS 节点依赖问题。代码示例： ```python spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate() sc = spark.sparkContext sc.addFile("/fintech/jinxb/model_V202207_long.tar.gz") # 上传本地文件 # 后续 Worker 节点通过 SparkFiles.get("model_V202207_long.tar.gz") 访问 ``` 该方法自动分发文件到所有 Worker，绕过了 HDFS 副本写入的问题[^3]。 - **强制使用健康节点**：在写入路径前，检查并跳过排除节点： ```python # 在 Spark 中获取 HDFS 健康节点列表 from py4j.java_gateway import java_import java_import(sc._jvm, "org.apache.hadoop.hdfs.DFSClient") client = sc._jvm.DFSClient(sc._jsc.hadoopConfiguration()) healthy_nodes = client.datanodeReport(sc._jvm.DatanodeReportType.LIVE).toString() # 然后，确保写入逻辑只使用 healthy_nodes 中的节点 ``` 这需要管理员权限，但可确保写入目标节点健康。 - **处理残留块错误**：如果块信息异常（如引用[^4]），使用 HDFS 命令修复： ```bash hdfs fsck /path/to/your/directory -delete # 删除损坏文件 hdfs dfs -rm -skipTrash /path/to/your/directory/* # 强制删除以避免报错 hdfs dfsadmin -safemode leave # 确保不处于安全模式 ``` 完成后重新尝试上传。 #### 步骤 3: 预防和最佳实践 为防止此类问题，结合 HDFS 和 Spark 的最佳实践： - **监控和自动化**：使用工具如 Cloudera Manager 或 Prometheus 监控 DataNode 健康，设置警报当节点排除率超过阈值时自动干预。 - **配置优化**： - 在 `hdfs-site.xml` 中调整 `dfs.client.block.write.replace-datanode-on-failure.enable=true`，使写入失败时自动替换节点。 - 增加 Spark 重试机制：在作业中设置重试参数： ```python spark.conf.set("spark.task.maxFailures", 10) # 增加任务重试次数 ``` - **文件上传方法选择**：优先使用 `sc.addFile()` 而非直接 HDFS 命令（如 `hdfs dfs -put`），因为 Spark 会管理文件分发，更鲁棒[^3][^5]。 - **错误处理和回退**：在代码中添加重试逻辑： ```python import time max_retries = 3 for i in range(max_retries): try: # 上传代码 break except Exception as e: time.sleep(10) # 延时重试 if i == max_retries - 1: print("所有重试失败") ``` 类似引用[^4]建议，确保文件完全关闭后再写入，避免部分写入异常。 通过以上步骤，您可以解决 Spark 上传依赖文件时的节点排除问题。建议从步骤1开始验证，如问题频繁发生，优先采用 `addFile()` 方法[^3]。 ### 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值