shuffle file cannot find错误

最新推荐文章于 2024-01-22 16:31:24 发布
转载 最新推荐文章于 2024-01-22 16:31:24 发布 · 276 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/qq_41781021/article/details/81133011

探讨Spark执行器堆外内存配置，解决大数据处理中常见的内存溢出及shuffle读写问题，介绍如何调整参数以提高任务稳定性。

Executor的堆外内存
Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。默认情况下，这个堆外内存上限默认是每一个executor的内存大小的10%；真正处理大数据的时候，这里都会出现问题，导致spark作业反复崩溃，无法运行；此时就会去调节这个参数，到至少1G（1024M），甚至说2G、4G。
executor在进行shuffle write，优先从自己本地关联的mapOutPutWorker中获取某份数据，如果本地block manager没有的话，那么会通过TransferService，去远程连接其他节点上executor的block manager去获取，尝试建立远程的网络连接，并且去拉取数据。频繁创建对象让JVM堆内存满溢，进行垃圾回收。正好碰到那个exeuctor的JVM在垃圾回收。处于垃圾回过程中，所有的工作线程全部停止；相当于只要一旦进行垃圾回收，spark / executor停止工作，无法提供响应，spark默认的网络连接的超时时长是60s；如果卡住60s都无法建立连接的话，那么这个task就失败了。task失败了就会出现shuffle file cannot find的错误。
那么如何调节等待的时长呢？
在./spark-submit提交任务的脚本里面添加：
–conf spark.core.connection.ack.wait.timeout=300
Executor由于内存不足或者堆外内存不足了，挂掉了，对应的Executor上面的block manager也挂掉了，找不到对应的shuffle map output文件，Reducer端不能够拉取数据。我们可以调节堆外内存的大小，如何调节？
在./spark-submit提交任务的脚本里面添加
yarn下：
–conf spark.yarn.executor.memoryOverhead=2048 单位M
standalone下：
–conf spark.executor.memoryOverhead=2048单位M

IDEA+SPARK 本地伪分布式开发日志调测
大模型与Agent智能体
05-30 2150
IDEA+SPARK 本地伪分布式开发日志调测： 要在windows本地IDEA环境中伪分布式开发spark程序，观察spark框架运行的日志。 开发代码： object SparkShell { def main(args: Array[String]): Unit = { Logger.getLogger("org").setLevel(Lev...
Spark 之 Shuffle & AQE
zhixingheyi_tian的博客
06-03 2831
shuffle
shuffle file cannot find的问题
qq_41781021的博客
07-20 528
调节Executor的堆外内存 Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零拷贝），所以使用了堆外内存。默认情况下，这个堆外内存上限默认是每一个executor的内存大小的10%；真正处理大数据的时候，这里都会出现问题，导致spark作业反复崩溃，无法运行；此时就会去调节这个参数，到至少1G（1024M），甚至说2G、4G...
spark trouble shooting之一：shuffle file cannot find、executor lost等等
weixin_30312563的博客
03-14 363
有时候，如果你的spark作业处理的数据量特别特别大，几亿数据量；然后spark作业一运行，时不时报错，比如shuffle file cannot find，executor、task lost，out of memory； 可能是说executor的堆外内存不太够用，导致executor在运行的过程中，可能会内存溢出；然后可能导致后续的stage的task在运行的时候，要从一些executor...
Error:Initialize scatter file failed.Please check the scatter file name you load is legal
Singleton1900的专栏
04-10 1万+
之前刷MTK手机的时候一切正常。 过了个清明回来就遇到这个问题了。
spark-调节executor堆外内存
weixin_33845477的博客
10-29 235
2019独角兽企业重金招聘Python工程师标准>>> ...
troubleshooting之解决JVM GC导致的shuffle文件拉取失败
tianqinglei的博客
09-21 518
1、shuffle文件拉取原理图 2、JVM GC时，会导致spark作业出现什么问题？ 比如，executor的JVM进程，可能内存不是很够用了。那么此时可能就会执行GC。minor GC or full GC。总之一旦发生了JVM之后，就会导致executor内，所有的工作线程全部停止，比如BlockManager，基于netty的网络通信。 有时会出现的一种情况，非常普
Spark Shuffle机制解析
qq_27639777的博客
10-15 789
文章目录Shuffle简介与其发展Shuffle机制的实现ShuffleManager接口简介ShuffleManager的创建具体实现类SortShuffleManagerregisterShuffle方法getWriter方法getReader方法Shuffle Writer过程解析数据聚合与排序聚合排序溢写磁盘数据合并与持久化生成索引文件Shuffle Reader过程解析获取map任务输出的位置信息获取blocks数据划分本地与远程Block获取远程Block获取本地Blockreduce端聚合数据
Spark Shuffle原理详解
qq_34118993的博客
04-12 543
1.SparkShuffle 1.SparkShuffle概念 reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是<key,value>对的形式，这样每一个key对应一个聚合起来的value。 问题：聚合之前，每一个key对应的value不一定都是在一个partition中，也不太可能在同一个节点上，因为RDD是分布式的弹性的数据集，RDD的partition极有可能分布在各个节点上。 如何聚合？ ...
Spark之Shuffle总结
zp17834994071的博客
08-08 3022
Shuffle概念 shuffle，是一种多对多的依赖关系，即每个Reduce Task从每个Map Task产生数的据中读取一片数据，极限情况下可能触发M*R个数据拷贝通道（M是Map Task数目，R是Reduce Task数目）。 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。 因为在分布式情
找不到sct文件解决方法：Could not open scatter descript
hxkrrzq的博客
07-10 1万+
.sct：分散加载文件 详细的说明可以参考： https://blog.youkuaiyun.com/wuhenyouyuyouyu/article/details/71171546 Keil魔术棒工具设置页面： 1. 尝试清空图1中的scatter file 2. 检查图2中的设置，需要勾选default ...
Spark参数spark.executor.memoryOverhead与spark.memory.offHeap.size的区别
热门推荐
lquarius的博客
06-11 2万+
最近疑惑一个问题，sparkexecutor的堆外内存问题，堆外内存很好理解，这里不再解释，疑惑的是它的设置，看过官网就知道设置堆外内存的参数为spark.executor.memoryOverhead与spark.memory.offHeap.size(需要与 spark.memory.offHeap.enabled同时使用)，其中这两个都是描述堆外内存的，但是它们有什么区别么？ 因为对两个参数不是很理解，所以我在集群上找了个任务，对这两个参数进行研究。 我是通过storage...
keil5 配置碰到的问题
weixin_37684978的博客
07-21 349
missing compiler version 5 解决方案： 网络上下载5版本的编译器，安装在keil对应的目录里面。网上有方法说明，可用。 Error: L6218E: Undefined symbol Image$$RW_IRAM1$$Base 解决方案: 需要配置project→ options for target...→ linker→ scatter file→ .\_build\nrf52833_xxaa.sct Error: Flash Downlo
【Qt】cannot find file报错解决
weixin_38120390的博客
01-22 3146
Qt Creator cannot find file 报错问题的解决
Hadoop的Shuffle Error问题的解决。
邓胤的家当
04-08 2981
今天在运行一个简单的mapred任务时， 在reduce到到16的时候老是会出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing - out.这个错误， 运行几次都不行。 网上google得知需要到hadoop-site.xml加上一个property解决。   写道 secondary name node所在的机器没有配置d...
spark堆内和堆外内存
写轮眼之大数据
05-17 2818
由于Driver的内存管理较为简单，内存管理主要对Executor的内存管理进行探讨。 一、堆内(On-Heap Memory)和堆外(Off-Heap Memory)内存规划 ​ Executor作为一个JVM进程，Executor的内存管理建立在JVM的内存管理之上。Spark对堆内内存进行JVM内存管理，引入了堆外内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化了内存的使用；其中，堆外内存直接向操作系统申请。 二、堆内内存(On-Heap Memory) ​ 堆内内存概述：
打开的工程 文件加载不上_工程设计之Scatter File
weixin_39996134的博客
11-28 679
1. sct分散加载文件的格式与应用1.1 sct分散加载文件简介当工程按默认配置构建时，MDK 会根据我们选择的芯片型号，获知芯片的内部 FLASH 及内部 SRAM 存储器概况，生成一个以工程名命名的后缀为 .sct 的分散加载文件 (Linker Control File，scatter loading)，链接器根据该文件的配置分配各个节区地址，生成分散加载代码，因此我们通过修改该...
出现找不到sct文件解决方法：.\Objects\MyFirstExample.axf: error: L6031U: Could not open scatter descript
跃祥博客
08-07 1万+
芯片选为：ARM7（大端） 如果新版KEIL没有ARM7选项，则去官网下载对应补丁，地址：ARM7补丁-选择对应的已安装keil版本，我的是5.14 安装后即可。 出现找不到文件解决方法： 按如下图先取消√，再删除Scatter file里的内容，然后编译即可成功 ...
MDK5出现cannot find the file "stdint.h"的解决问题
weixin_30457551的博客
07-15 4951
转载于:https://www.cnblogs.com/liangbo-1024/p/9314478.html
[12/08/2025-14:53:39] [TRT] [E] 3: getPluginCreator could not find plugin: InstanceNormalization_TRT version: 1 [12/08/2025-14:53:39] [TRT] [E] 1: [pluginV2Runner.cpp::nvinfer1::rt::load::303] Error Code 1: Serialization (Serialization assertion creator failed.Cannot deserialize plugin since corresponding IPluginCreator not found in Plugin Registry) Traceback (most recent call last): File "D:\Program Files\JetBrains\PyCharm Community Edition 2022.1\plugins\python-ce\helpers\pydev\pydevd.py", line 1491, in _exec pydev_imports.execfile(file, globals, locals) # execute the script File "D:\Program Files\JetBrains\PyCharm Community Edition 2022.1\plugins\python-ce\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile exec(compile(contents+"\n", file, 'exec'), glob, loc) File "D:/app/LM/mask2former.py", line 484, in <module> test_tensorrt_engine() File "D:/app/LM/mask2former.py", line 407, in test_tensorrt_engine context = engine.create_execution_context() AttributeError: 'NoneType' object has no attribute 'create_execution_context' python-BaseException
最新发布
12-09
<think>我们遇到了两个关键问题： 1. TensorRT 无法找到插件 `InstanceNormalization_TRT version: 1`，导致引擎反序列化失败。 2. 引擎对象为 `None`，导致调用 `create_execution_context` 时出现 `AttributeError`。 ### 解决方案 #### 一、解决插件加载问题 **原因分析**： `InstanceNormalization` 操作在 TensorRT 中通常需要通过插件实现。错误信息表明 TensorRT 在插件注册表中找不到对应的插件创建器（Plugin Creator）。 **解决方法**： 1. **显式初始化插件注册表**（Python 环境）： 在反序列化引擎之前，初始化 TensorRT 的内置插件： ```python import tensorrt as trt # 初始化所有内置插件（包括 InstanceNormalization） trt.init_libnvinfer_plugins(trt.Logger(trt.Logger.WARNING), "") ``` 注意：如果使用了自定义插件，需要加载对应的插件库。 2. **确保插件库可用**（C++ 环境）： 在 C++ 代码中，添加以下代码： ```cpp #include "NvInferPlugin.h" // ... initLibNvInferPlugins(nullptr, ""); ``` 3. **验证插件是否注册**： 检查 TensorRT 是否包含 `InstanceNormalization` 插件： ```python registry = trt.get_plugin_registry() creator = registry.get_plugin_creator("InstanceNormalization_TRT", "1", "") if creator is None: print("错误：未找到 InstanceNormalization_TRT 插件") else: print("成功加载 InstanceNormalization_TRT 插件") ``` #### 二、解决引擎对象为 None 的问题 **原因分析**： 引擎构建失败（`builder.build_serialized_network()` 返回 `None`），通常由以下原因导致： - 模型包含 TensorRT 不支持的操作 - 插件未正确注册 - 输入/输出张量定义错误 - 工作空间内存不足 **解决方法**： 1. **启用详细日志**： 在构建引擎时启用详细日志，捕获具体错误信息： ```python logger = trt.Logger(trt.Logger.VERBOSE) # 使用 VERBOSE 级别 builder = trt.Builder(logger) config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.VERBOSE) # 启用详细日志 ``` 2. **检查网络定义**： 验证所有层是否被 TensorRT 支持： ```python for i in range(network.num_layers): layer = network.get_layer(i) if not layer: continue if layer.type == trt.LayerType.SHUFFLE or layer.type == trt.LayerType.CONSTANT: # 检查这些层是否正确连接 pass # 打印层信息以便调试 print(f"层 {i}: 类型={layer.type}, 输入={layer.num_inputs}, 输出={layer.num_outputs}") ``` 3. **处理不支持的操作**： 如果模型包含 `Einsum` 等复杂操作，需要转换为 TensorRT 支持的等效操作序列，或使用插件实现。 4. **调整工作空间大小**： 限制工作空间大小以避免内存不足： ```python config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB ``` 5. **捕获并处理构建错误**： ```python try: serialized_engine = builder.build_serialized_network(network, config) if serialized_engine is None: raise RuntimeError("引擎构建失败：builder 返回 None") except Exception as e: # 打印日志中的错误信息 for i in range(logger.num_errors): error = logger.get_error(i) print(f"TensorRT 错误 {i}: {error}") ``` ### 完整代码示例 ```python import tensorrt as trt # 初始化插件 trt.init_libnvinfer_plugins(None, "") # 创建记录器 logger = trt.Logger(trt.Logger.VERBOSE) builder = trt.Builder(logger) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser = trt.OnnxParser(network, logger) # 解析 ONNX 模型 with open("model.onnx", "rb") as f: if not parser.parse(f.read()): for error in range(parser.num_errors): print(parser.get_error(error)) # 配置构建器 config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.FP16) # 可选：启用FP16 config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB config.set_flag(trt.BuilderFlag.VERBOSE) # 详细日志 # 构建引擎 try: serialized_engine = builder.build_serialized_network(network, config) if serialized_engine is None: raise RuntimeError("引擎构建失败：builder 返回 None") # 保存引擎 with open("engine.trt", "wb") as f: f.write(serialized_engine) # 创建执行上下文 runtime = trt.Runtime(logger) engine = runtime.deserialize_cuda_engine(serialized_engine) context = engine.create_execution_context() print("引擎构建成功！") except Exception as e: print(f"引擎构建失败: {str(e)}") # 打印所有错误日志 for i in range(logger.num_errors): print(f"错误详情 {i}: {logger.get_error(i)}") ``` ### 注意事项 1. **TensorRT 版本兼容性**：确保 TensorRT 版本与 CUDA、cuDNN 版本匹配。 2. **ONNX 模型优化**：在导出 ONNX 时，使用最新版本的 PyTorch 或 TensorFlow，并确保所有操作都支持。 3. **自定义插件**：如果 `InstanceNormalization` 仍然无法加载，可能需要手动编译并注册插件库。 通过以上步骤，应该能够解决插件加载失败和引擎构建问题。如果问题仍然存在，请检查 TensorRT 插件库的完整性和版本兼容性。 §§相关问题§§ 1. 如何编译 TensorRT 自定义插件？ 2. TensorRT 支持哪些 ONNX 算子？ 3. 如何将 Einsum 操作转换为 TensorRT 支持的等效操作？ </think> ### 解决 TensorRT 插件加载与引擎构建失败问题 您遇到的 `getPluginCreator could not find plugin: InstanceNormalization_TRT version: 1` 和 `'NoneType' object has no attribute 'create_execution_context'` 是两个相互关联的问题，以下是完整的解决方案： --- ### 一、解决插件加载问题 #### 原因分析 `InstanceNormalization_TRT` 是 TensorRT 的内置插件，但需要手动初始化才能注册到插件注册表[^2]。 #### 解决方案 在**引擎反序列化前**添加插件初始化代码： **Python 解决方案**： ```python import tensorrt as trt # 关键步骤：初始化内置插件 trt.init_libnvinfer_plugins(None, "") # 空字符串表示加载所有内置插件 # 然后进行引擎反序列化 with open("model.engine", "rb") as f: runtime = trt.Runtime(trt.Logger(trt.Logger.WARNING)) engine = runtime.deserialize_cuda_engine(f.read()) # 现在能正确识别InstanceNormalization ``` **C++ 解决方案**： ```cpp #include <NvInfer.h> #include <NvInferPlugin.h> // 关键头文件 int main() { // 初始化插件注册表 initLibNvInferPlugins(nullptr, ""); // 然后进行引擎反序列化 nvinfer1::IRuntime* runtime = nvinfer1::createInferRuntime(logger); nvinfer1::ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), engineSize); } ``` --- ### 二、解决引擎对象为 None 的问题 #### 原因分析 引擎构建失败（`builder.build_serialized_network()` 返回 `None`），通常由以下原因导致： 1. 模型包含不支持的操作（即使已添加插件初始化） 2. 工作空间内存不足 3. 输入/输出张量定义错误 #### 解决方案 ```python logger = trt.Logger(trt.Logger.VERBOSE) # 使用详细日志 builder = trt.Builder(logger) config = builder.create_builder_config() # 关键配置调整 config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 1 << 30) # 1GB工作空间 config.set_flag(trt.BuilderFlag.VERBOSE) # 启用详细日志 try: # 构建引擎前再次确认插件初始化 trt.init_libnvinfer_plugins(None, "") serialized_engine = builder.build_serialized_network(network, config) if serialized_engine is None: # 提取详细错误信息 for i in range(logger.num_errors): err = logger.get_error(i) print(f"TensorRT Error {i}: {err}") raise RuntimeError("引擎构建失败") except Exception as e: print(f"构建错误: {str(e)}") ``` --- ### 三、终极解决方案：完整工作流 ```mermaid graph TD A[加载ONNX模型] --> B[初始化插件] B --> C[创建TensorRT网络] C --> D[配置构建参数] D --> E{构建引擎} E -->|成功| F[序列化引擎] E -->|失败| G[分析详细日志] G --> H[调整模型/配置] H --> C F --> I[反序列化引擎] I --> J[创建执行上下文] ``` 具体代码实现： ```python def build_engine(onnx_path): # 1. 初始化 trt.init_libnvinfer_plugins(None, "") logger = trt.Logger(trt.Logger.VERBOSE) builder = trt.Builder(logger) # 2. 创建网络 network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) parser = trt.OnnxParser(network, logger) # 3. 解析ONNX with open(onnx_path, "rb") as model: if not parser.parse(model.read()): for i in range(parser.num_errors): print(parser.get_error(i)) return None # 4. 配置构建器 config = builder.create_builder_config() config.max_workspace_size = 1 << 30 # 1GB config.set_flag(trt.BuilderFlag.FP16) # 可选 # 5. 构建引擎 try: engine = builder.build_engine(network, config) if not engine: print("引擎构建返回None") return None # 6. 序列化保存 with open("engine.trt", "wb") as f: f.write(engine.serialize()) return engine except Exception as e: print(f"构建异常: {str(e)}") # 打印所有TRT错误 for i in range(logger.num_errors): print(f"TRT Error {i}: {logger.get_error(i)}") return None # 使用示例 engine = build_engine("model.onnx") if engine: context = engine.create_execution_context() # 现在不会出现NoneType错误 ``` --- ### 常见问题排查表 | 现象 | 可能原因 | 解决方案 | |------|---------|----------| | 插件未找到 | 未初始化插件 | 添加 `trt.init_libnvinfer_plugins(None, "")` | | 引擎构建返回None | 工作空间不足 | 增加 `config.max_workspace_size` | | 特定层不支持 | 模型包含非常规操作 | 使用ONNX Simplifier简化模型 | | 内存错误 | GPU内存不足 | 减小批量大小或输入分辨率 | > **关键提示**：如果问题仍未解决，尝试使用 TensorRT 的 `trtexec` 工具进行独立验证： > ```bash > trtexec --onnx=model.onnx --verbose --plugins=libnvinfer_plugin.so > ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值