Tensorflow object detection API 训练自己数据时报错 Windows fatal exception: access violation

最新推荐文章于 2025-06-05 18:38:41 发布
转载 最新推荐文章于 2025-06-05 18:38:41 发布 · 1.6w 阅读 · 9

在使用TensorFlowObjectDetectionAPI及ssd_mobilenet_v1_coco_2018_01_28模型训练自定义数据集时，遇到Windowsfatalexception:accessviolation错误。该问题出现在读取配置文件过程中，解决方案包括降级TensorFlow版本至1.12并安装cuda。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

python3.6， tf 1.14.0，Tensorflow object detection API 跑demo图片和改为摄像头进行物体识别均正常，

训练自己的数据训练自己数据时报错 Windows fatal exception: access violation
用的ssd_mobilenet_v1_coco_2018_01_28模型，
命令：python model_main.py -pipeline_config_path=/pre_model/pipeline.config -model_dir=result -num_train_steps=2000 -alsologtostderr

其实就是按照网上基础的训练来的，一直报这个，具体错误输出如下：

(py36) D:\pythonpro\TensorFlowLearn\face_tf_model>python model_main.py -pipeline_config_path=/pre_model/pipeline.config -model_dir=result -num_train_steps=2000 -alsologtostderr
WARNING: Logging before flag parsing goes to stderr.
W0622 16:50:30.230578 14180 lazy_loader.py:50]
The TensorFlow contrib module will not be included in TensorFlow 2.0.
For more information, please see:

W0622 16:50:30.317274 14180 deprecation_wrapper.py:119] From D:\Anaconda3\libdata\tf_models\research\slim\nets\inception_resnet_v2.py:373: The name tf.GraphKeys is deprecated. Please use tf.compat.v1.GraphKeys instead.

W0622 16:50:30.355400 14180 deprecation_wrapper.py:119] From D:\Anaconda3\libdata\tf_models\research\slim\nets\mobilenet\mobilenet.py:397: The name tf.nn.avg_pool is deprecated. Please use tf.nn.avg_pool2d instead.

W0622 16:50:30.388313 14180 deprecation_wrapper.py:119] From model_main.py:109: The name tf.app.run is deprecated. Please use tf.compat.v1.app.run instead.

W0622 16:50:30.397290 14180 deprecation_wrapper.py:119] From D:\Anaconda3\envs\py36\lib\site-packages\object_detection-0.1-py3.6.egg\object_detection\utils\config_util.py:98: The name tf.gfile.GFile is deprecated. Please use tf.io.gfile.GFile instead.

Windows fatal exception: access violation

Current thread 0x00003764 (most recent call first):
File "D:\Anaconda3\envs\py36\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 84 in _preread_check
File "D:\Anaconda3\envs\py36\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 122 in read
File "D:\Anaconda3\envs\py36\lib\site-packages\object_detection-0.1-py3.6.egg\object_detection\utils\config_util.py", line 99 in get_configs_from_pipeline_file
File "D:\Anaconda3\envs\py36\lib\site-packages\object_detection-0.1-py3.6.egg\object_detection\model_lib.py", line 606 in create_estimator_and_inputs
File "model_main.py", line 71 in main
File "D:\Anaconda3\envs\py36\lib\site-packages\absl\app.py", line 251 in _run_main
File "D:\Anaconda3\envs\py36\lib\site-packages\absl\app.py", line 300 in run
File "D:\Anaconda3\envs\py36\lib\site-packages\tensorflow\python\platform\app.py", line 40 in run
File "model_main.py", line 109 in

(py36) D:\pythonpro\TensorFlowLearn\face_tf_model>

 

解决方案:降版本到1.12,-gpu，装cuda

git clone出现fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案
weixin_43178406的博客
06-18 23万+
本文主要介绍了git clone出现fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案，希望能对使用git的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
git clone出现fatal: unable to access: SSL certificate problem: certificate has expired的解决方案
热门推荐
weixin_43178406的博客
06-06 21万+
本文主要介绍了git clone出现fatal: unable to access: SSL certificate problem: certificate has expired的解决方案，希望能对使用git的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
tensorboard 报错 Windows fatal exception: access violation
Zz_shange的博客
06-10 5550
受https://stackoverflow.com/questions/58636880/windows-fatal-exception-access-violation-with-tensorboard启发 由于在模型训练时是在colab上运行，把文件夹下载下来后，模型的路径实际上应为本地路径， 将checkpoint文件中的path改为当前路径后，再启动tensorboard运行正常 ...
Tensorflow Object_Detection Mask Rcnn训练 报错Windows fatal exception: access violation Current thread 0
excelNo1的博客
11-22 1537
Tensorflow Object_Detection Mask Rcnn训练 报错Windows fatal exception: access violation Current thread 0 1.训练mask rcnn 时出现错误 Tensorflow Object_Detection Mask Rcnn训练 报错Windows fatal exception: access violation Current thread 0 2.查看之前顺利跑通的配置文件，发现修改了数据增强这块。 data
使用TensorFlow-Object-Detection-API 训练ssd_mobilenet
wanqing12的博客
06-05 1903
使用官方的TensorFlow-Object-Detection-API进行ssd_mobilenet训练，最后导出模型并进行int8量化和tflite文件转换
Windows fatal exception: access violation
qq_48326857的博客
09-19 5383
windows访问冲突 出现这种错误，而没有明确提示代码中哪里出错。 方法：逐步调试。程序中设置断点，查看运行到哪一步才出现这个错误。这样才能定位到bug。
Windows fatal exception: access violation / Process finished with exit code -1073741819 (0xC0000005)
weixin_46236212的博客
12-29 1万+
解决Pycharm报错 Windows fatal exception: access violation 以及Process finished with exit code -1073741819 (0xC0000005) 首先，是在做人脸识别定位时候遇到的这个问题，报错内容如下： I1229 14:40:58.153018 8996 create_pascal_tf_record.py:163] Reading from PASCAL widerface dataset. Windows fatal
pytorch ray 出现 Windows fatal exception: access violation错误的解决方案(远程主机强迫关闭了一个现有的连接)
星之所望的博客
12-09 3409
训练PPO算法，出现Windows fatal exception: access violation问题。PPO算法是一个多线程算法，为了加速训练，使用GPU和显存加速计算。该问题不能稳定复现。 为了节约现存，PPO的公共参数 储存在内存中，worker数据存储在显存中，然后可能数据交换有问题，会出现多线程错误，将公共参数同样存放在显存中，问题消失了。 原： @ray.remote class ParameterServer: def __init__(self): se
AirSim，UE 运行报错Unhandled Exception: EXCEPTION_ACCESS_VIOLATION reading address 0x0000000000000000
weixin_42339628的博客
12-20 2813
在’C:\Users\yourname\AppData\Local\UnrealEngine{版本号}\Saved\Config\WindowsEditor（我的是 Windows）\Engine.ini’中找到所需 port，例如，‘MulticastEndpoint=230.0.0.1:6666’。在该网址中，Epic Games 的一位职员说这个问题的出现是 UE 的 bug 导致的。问题的关键在于端口被其他应用程序占用，所以我们也可以不更改 port，而是杀掉占用的进程。重新运行程序，问题解决。
使用Tensorflow目标检测API训练自己的数据集
小白太白的博客
11-18 1553
使用官方1.x的目标检测API，安装过程见：https://www.jianshu.com/p/3257a32d4c5a 一、制作数据集 制作自己的数据集可以参考该方式： https://www.bilibili.com/video/BV1kV411k7D8 即准备好图片集，然后利用LabelImg等公开标注软件进行标注并生成指定格式的标注文件。 本文使用COCO数据集制作为tf_record格式数据集: COCO数据集下载可参考：https://yunyaniu.blog.youkuaiyun.com/ar.
TensorFlow Object Detection API —— 制作自己的模型
qq_24474463的博客
08-09 9396
         在上一篇中我们已经搭建好了TensorFlow Object Detection API所需的环境，现在我们就可以构建自己的模型了，在构建自己的模型之前可以考虑需要用什么模型进行训练和之后进行预测，在这里又要祭出上一篇文章中的模型列表图了，我们可以从下图中找到自己所需要的模型下载，本文选用ssdlite_mobilenet_v2_coco进行训练，大家可以下载其它自己需要的模型进...
Pytest使用Jpype调用jar包报错：Windows fatal exception: access violation
一个bug是bug，多个bug能work
11-26 987
​ 之前我们有讲过如何使用Jpype调用jar包，在成功调用jar包后，接着在Pytest框架下编写自动测试用例。但是在Pytest下使用Jpype加载jar包，并调用其中的方法会以下提示信息：​ 虽然提示信息显示有Windows显示致命错误，但是并不会影响最后的测试用例是否会通过。但是每次运行Pytest测试函数时，都会有这样的信息看着很难受。
pycharm调试过程中出现windows fatal exception: access violation
taocan007的博客
06-19 1616
断点太多了或者是某个语句的断点打得太久。建议直接run一下，或者取消所有断点。
关于windows下tensorboard拒绝访问
fishllife的博客
03-07 1358
1、首先，查各种博客说，电脑的名字不能是中文，确保这一点。 2、确保你的路径在所对应的文件夹下 这里train中存放着events文件。 3、在谷歌浏览器中搜这个网址时， ，终端中不要退出意思就是不要摁ctrl+c，退出就找不到了。（我在这里犯得傻，出来网址时我就摁了ctrl+c，一直找不到。。。），如果出不来，记得把网断掉试试看可以不可以，我是断掉网就可以了 4、等待你结束看te...
Tensorboard在windows里无法启动问题
u010683042的博客
09-15 4033
（1）先用pip3 show tensorflow-tensorboard查看tensorboard是否已经安装 （2）在控制台里输入tensorboard –logdir=logs的文件地址 （3）Tensorboard最新版启动后，不会返回IP，但是实际上已经运行。（当前最新版本，0.1.5） （4）在google浏览器里输入http://localhost:6006 然后就能运行！
python pytest 中启动 jaydebeapi 报错： Windows fatal exception: access violation
Y-Kings
12-04 892
pytest.ini的 addopts配置添加 -p no:faulthandler。：window致命异常：访问冲突。
EXCEPTION_ACCESS_VIOLATION
碌人乘凉, 黎硕 --> Aerchi.com
09-13 1067
http://203.208.39.99/search?q=cache:euv39jJOmSoJ:www.pboa.cn/archiver/showtopic-55.aspx+tomcat+EXCEPTION_ACCESS_VIOLATION+(0xc0000005)&hl=zh-CN&ct=clnk&cd=13&gl=cn&st_usg=ALhdy2_...
Windows fatal exception: access violation Windows fatal exception: Thread 0xaccess violation00004cb4
最新发布
08-01
<think>我们面对的问题是Chromadb的.add()方法在Windows上导致访问冲突（错误代码0xC0000005）。根据之前的分析，这通常是由内存访问问题引起的。结合用户提供的引用[1]（关于Windows系统错误代码）和引用[2]（关于Zygote进程），我们可以推断问题可能涉及内存管理或跨语言交互。 引用[1]说明0xC0000005是访问冲突错误，通常发生在程序试图访问它没有权限的内存地址时。引用[2]提到Zygote进程预加载类和资源，这虽然与Android相关，但提醒我们注意预加载和资源管理可能影响内存。 针对Chromadb的.add()方法，我们之前已经分析了几种可能的原因和解决方案。现在，我们进一步整合并细化解决方案： 1. **数据一致性检查**：确保输入数据的长度和类型一致。 2. **内存布局和类型**：确保传递给底层C++库的数组是连续的且数据类型正确（通常是float32）。 3. **线程安全**：确保没有多线程同时调用.add()方法。 4. **版本兼容性**：检查Chromadb版本及其依赖库的兼容性。 以下我们将详细展开解决方案，并提供代码示例。 ### 解决方案详解 #### 1. 数据一致性检查 在调用`.add()`之前，必须验证所有输入数组的长度是否匹配： ```python def safe_add(collection, ids, embeddings, metadatas=None, documents=None, uris=None): n = len(ids) assert len(embeddings) == n, "嵌入向量数量必须与ID数量一致" if metadatas is not None: assert len(metadatas) == n, "元数据数量必须与ID数量一致" if documents is not None: assert len(documents) == n, "文档数量必须与ID数量一致" if uris is not None: assert len(uris) == n, "URI数量必须与ID数量一致" # 继续调用原始的_add方法 return collection._add( ids=ids, collection_id=collection.id, embeddings=embeddings, metadatas=metadatas, documents=documents, uris=uris ) ``` #### 2. 内存布局和类型转换 NumPy数组必须是C连续且数据类型为`np.float32`： ```python # 将嵌入向量列表转换为符合要求的NumPy数组 embeddings_array = np.array(embeddings, dtype=np.float32) # 确保内存布局是连续的 if not embeddings_array.flags['C_CONTIGUOUS']: embeddings_array = np.ascontiguousarray(embeddings_array) ``` #### 3. 线程安全控制 如果应用在多线程环境中，使用锁来保护`.add()`调用： ```python from threading import Lock # 在创建客户端时初始化锁 class ThreadSafeChromaCollection: def __init__(self, collection): self.collection = collection self.lock = Lock() def add(self, *args, **kwargs): with self.lock: return self.collection.add(*args, **kwargs) # 使用方式 safe_collection = ThreadSafeChromaCollection(collection) safe_collection.add(ids=ids, embeddings=embeddings) ``` #### 4. 版本兼容性 确保使用兼容的Chromadb版本。已知某些版本（如0.4.x）存在稳定性问题，建议尝试以下版本： ```bash pip install chromadb==0.4.15 # 一个已知稳定的版本 ``` ### 调试技巧 如果上述方法仍不能解决问题，可以尝试以下高级调试方法： - **启用faulthandler**：在程序开始时启用faulthandler，它可以在程序崩溃时打印堆栈跟踪： ```python import faulthandler faulthandler.enable() ``` - **使用内存分析工具**：在Windows上使用WinDbg或Visual Studio诊断内存问题。 - **最小化重现**：创建一个最小化的可重现案例，以便于定位问题： ```python import chromadb import numpy as np client = chromadb.Client() collection = client.create_collection("test") ids = ["id1"] embeddings = np.array([[1.0, 2.0, 3.0]], dtype=np.float32) # 确保是float32 # 尝试添加 collection.add(ids=ids, embeddings=embeddings) ``` ### 根本原因总结 访问冲突错误（0xC0000005）通常由以下原因导致： 1. **无效指针**：底层C++代码尝试访问已释放的内存。 2. **数据类型不匹配**：例如传递了64位浮点数（`np.float64`）而底层期望32位（`np.float32`）。 3. **多线程冲突**：多个线程同时修改同一内存区域。 ### 相关问题 1. 如何在Windows上调试Python的C/C++扩展模块崩溃？ 2. Chromadb的.add()方法在Linux和macOS上是否也有类似问题？ 3. 除了数据类型和内存布局，还有哪些因素会导致访问冲突？ 4. 如何检测Python中NumPy数组的内存布局？ > 关键提示：访问冲突错误通常发生在跨语言交互边界（Python和C++），因此确保数据传递符合C++库的期望是解决问题的关键[^1]。</think>### ChromaDB `.add()` 方法导致 Windows 访问冲突分析 (错误代码 0xC0000005) 错误代码 `-1073741819 (0xC0000005)` 是 Windows 系统的 **访问冲突异常** (Access Violation)，表示进程试图访问未分配或受保护的内存地址[^1]。结合 ChromaDB 的 `.add()` 方法实现，以下是系统性的原因分析和解决方案： --- #### 根本原因分析 1. **内存所有权问题** (最常见) ChromaDB 的 Python 绑定层 (`self.bindings.add`) 与底层 C++ 库交互时，如果传递的 Python 对象（如 `embeddings` 数组）在 C++ 访问前被 Python 垃圾回收器释放，会导致访问无效内存地址： ```python # 潜在风险点：Python 对象可能在 C++ 访问时已被释放 self.bindings.add(ids, str(collection_id), embeddings, ...) ``` 2. **数据类型不匹配** 底层 C++ 库期望特定数据格式（如 32 位浮点数），但 Python 传递了不兼容类型（如 64 位浮点数或对象数组）： ```python embeddings = np.random.rand(100, 256).astype(np.float64) # 64位可能导致崩溃 ``` 3. **缓冲区溢出** 当 `ids`、`embeddings` 和 `metadatas` 的长度不一致时，底层 C++ 代码可能发生缓冲区溢出： ```python ids = ["id1", "id2"] embeddings = [[0.1, 0.2], [0.3, 0.4], [0.5, 0.6]] # 长度不匹配 ``` 4. **并发访问冲突** 多线程环境下同时调用 `.add()` 方法，导致底层非线程安全资源竞争： ```python # 线程1 chroma_client.add(ids1, emb1, ...) # 线程2 (同时执行) chroma_client.add(ids2, emb2, ...) # 共享资源冲突 ``` --- #### 解决方案 ##### 1. 数据一致性验证 (关键步骤) ```python def safe_add(collection, ids, embeddings, metadatas=None): # 检查长度一致性 if len(ids) != len(embeddings): raise ValueError("ids与embeddings长度不匹配") if metadatas and len(metadatas) != len(ids): raise ValueError("metadatas长度与ids不一致") # 确保数据类型为float32 embeddings = np.array(embeddings, dtype=np.float32, order='C') # C连续内存布局 # 调用原始方法 return collection._add( ids=ids, collection_id=collection.id, embeddings=embeddings, metadatas=metadatas ) # 使用方式 safe_add(collection, ids, embeddings, metadatas) ``` ##### 2. 显式内存管理 ```python import ctypes # 锁定内存防止被GC回收 emb_array = np.require(embeddings, dtype=np.float32, requirements=['C_CONTIGUOUS', 'ALIGNED']) emb_ptr = emb_array.ctypes.data_as(ctypes.POINTER(ctypes.c_float)) # 在底层绑定层添加支持原始指针的方法 (需修改C++绑定) self.bindings.add_raw( ids, str(collection_id), emb_ptr, emb_array.shape[0], # 行数 emb_array.shape[1], # 列数 ... ) ``` ##### 3. 线程安全处理 ```python from threading import Lock class ChromaClient: def __init__(self): self._add_lock = Lock() # 添加操作锁 def safe_add(self, *args, **kwargs): with self._add_lock: # 确保串行执行 return self._add(*args, **kwargs) ``` ##### 4. 诊断工具定位 ```python import faulthandler import gc # 启用崩溃堆栈捕获 faulthandler.enable() try: # 调用add方法 collection.add(ids, embeddings) except Exception as e: print(f"错误: {e}") gc.collect() # 强制垃圾回收，检测悬垂指针 # 检查内存布局 print(f"内存连续: {embeddings.flags['C_CONTIGUOUS']}") print(f"数据类型: {embeddings.dtype}") ``` --- #### 调试流程图 ```mermaid graph TD A[发生0xC0000005错误] --> B{数据一致性检查} B -->|长度/类型错误| C[修正输入数据] B -->|正常| D{单线程测试} D -->|崩溃| E[检查内存布局] D -->|正常| F[检查多线程冲突] E --> G[使用np.require固定内存] F --> H[添加线程锁] G -->|仍崩溃| I[检查Chromadb版本] H -->|仍崩溃| I I --> J[降级到稳定版本] ``` --- ### 预防措施 1. **内存布局验证** 使用 `np.require()` 确保数组满足 C 连续内存布局： ```python embeddings = np.require(embeddings, dtype=np.float32, requirements=['C_CONTIGUOUS']) ``` 2. **版本兼容性** 安装已知稳定的 ChromaDB 版本： ```bash pip install chromadb==0.4.15 # 确认兼容的版本 ``` 3. **资源监控** 使用 `tracemalloc` 检测内存泄漏： ```python import tracemalloc tracemalloc.start() # 执行add操作 snapshot = tracemalloc.take_snapshot() top_stats = snapshot.statistics('lineno') for stat in top_stats[:10]: print(stat) ``` --- ### 相关问题 1. 如何诊断 ChromaDB 底层 C++ 绑定引起的内存错误？ 2. 在多进程环境下如何安全使用 ChromaDB 的 `.add()` 方法？ 3. NumPy 数组与 C++ 交互时有哪些最佳实践？ 4. 如何验证 Python 到 C++ 的数据传递安全性？ > 关键提示：90% 的 0xC0000005 错误由内存管理不当引起，优先检查数据一致性和内存布局[^1]。建议使用 `np.require()` 确保内存连续性和类型安全。
评论 37
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值