SSD训练：*** Aborted at 1457505270 (unix time) try "date -d @1457505270" if you are using GNU date ***

最新推荐文章于 2021-03-05 19:56:03 发布
原创 最新推荐文章于 2021-03-05 19:56:03 发布 · 3.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文解析了一个常见的SSD训练过程中出现的错误，该错误源于样本文件列表被shuffle后未同步更新lmdb文件夹导致的问题。文章详细介绍了问题的原因及解决办法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在SSD训练时抛出错误：*** Aborted at 1457505270 (unix time) try "date -d @1457505270" if you are using GNU date ***，本质是由于shuffle的使用，其中一种情况是：之前利用样本文件列表（txt）生成过lmdb文件夹（运行:./data/mydata/create_data_mydata.sh），而样本文件列表（txt）被删除了，重新生成的样本文件列表（txt），而没有重新生成lmdb文件夹，则会出现这种问题。这是因为样本文件列表（txt）已经被shuffle了，所以必须重新生成lmdb文件夹。

Mysql出现问题：ERROR 3636 (HY000): Recursive query aborted after 1001 iterations. Try increasing解决方案
小虚竹的专栏
04-02 4506
Mysql出现问题：ERROR 3636 (HY000): Recursive query aborted after 1001 iterations. Try increasing解决方案
Caffe训练时出现Aborted ** using GNU date ** core dumped问题解决记录
m_buddy的博客
11-07 8023
1. 問題 *** Aborted at 1510023780 (unix time) try "date -d @1510023780" if you are using GNU date *** PC: @ 0x2acc27a60c92 ddot_kernel_8 *** SIGILL (@0x2acc27a60c92) received by PID 6739 (TID 0x2ac
[Caffe]:关于*** Aborted at 1479432790 (unix time) try "date -d @1479432790" 错误的另一种原因
cham_3
11-18 7356
这两天在caffe跑网络，原本的lr_policy:"step",后面更改了策略，使用lr_policy:"step"。但是却出现了如下错误：*** Aborted at 1479432790 (unix time) try "date -d @1479432790" if you are using GNU date *** PC: @ 0x7fe47645db63 caffe::SGDS
使用caffe训练ssd模型报错Segmentation fault (core dumped)
一位小白的博客
03-14 2728
*** Aborted at 1521008368 (unix time) try "date-d @1521008368" if you are using GNU date ***PC: @     0x7ff9c81d0563 (unknown)*** SIGSEGV (@0x58) received by PID 3101 (TID 0x7ffa07901a80) from PID 8...
caffe*** Aborted at 1457505270 (unix time) try "date -d @1457505270" if you are using GNU date ***
热门推荐
thesby的专栏
03-13 1万+
在自己建立新的caffe层时，出现错误：*** Aborted at 1457505270 (unix time) try "date -d @1457505270" if you are using GNU date ***这个十分怪异的！在BLVC的论坛上也没找到解决办法。 有人说重新编译就好了，我试了也没什么效果。 仔细分析代码，并加了好多LOG(INFO)后，发现问题是出现在使用shuf
【caffe】Aborted at 1457505270 (unix time) try "date -d @1457505270" if you are using GNU date错误解决方法
jiajinrang93的博客
09-21 4558
caffe可能遇到的错误
Error: (unix time) try if you are using GNU date
jyl1999xxxx的博客
03-05 4016
Checking the current GPU devices $ nvidia-smi Mon Sep 26 18:01:53 2016 +------------------------------------------------------+ | NVIDIA-SMI 352.63 Driver Version: 3
解决Finetune时 Aborted at 1493299396 (unix time) try "date -d" if you are using GNU date
fengyuejin1的专栏
05-01 9433
在使用bvlc_reference_caffenet.caffemodel模型训练自己数据时，最开始使用Digits软件进行finetune，发现一点问题都没有，出于学习的态度，准备手动输入命令进行训练模型，结构在运行时，出现Aborted at 1493299396 (unix time) try “date -d” if you are using GNU date问题。 问题原始：train
caffe-opencl 调用nvidia 错误 Aborted at 1494472487 (unix time) try "date -d @1494472487" if you are usin
zlzcqdz的博客
05-11 2092
要在caffe-opencl 分支上做实验。按照github 上的手册配置，都挺顺利。但是当用nvidia GPU跑的时候出现了一个莫名其妙的错误 在网上查了一下，有说caffe 源码中使用了Unix 时间做shuffle ，但是解析错误。但是我改了一下代码重新编译，但是错误依旧。 stackoverflow 还有说 log的错误。但是但觉的不靠谱。 # ./tools/ca
message：自动真机调试 Error: Aborted. Please retry appid: wxcc22649cfe0
02-07
message：自动真机调试 Error: Aborted. Please retry appid: wxcc22649cfe0db7b5 openid: o6zAJs9SgDdvm3T5BkTODqbUIJB4 ideVersion: 1.06.2401020 osType: win32-x64 time: 2024-02-07 23:12:31
[已解决]Aborted at 1614944422 (unix time) try “date -d @1614944422“ if you are using GNU date ***
weixin_45617478的博客
03-05 5579
记录一次奇怪的错误 报错部分代码 void readFile(std::string path, std::vector<cv::Point2d>& points){//载入二维点 std::cout<<"point.size(): "<<points.size()<<std::endl; ifstream in(path); string line; while (getline(in, line)) { //按行处理
用caffe训练openpose过程中，出现异常
weixin_30751947的博客
10-31 198
*** Aborted at 1509437177 (unix time) try "data -d @1509437177" if you are using GNU date *** 训练过程中出现上图错误。初步猜想是数据集的原因。重新下载了lmdb数据，等待测试。 训练过程中有保存迭代10000次时的snapshot，所以我试着从这个节点恢复训练，目前已经顺利的进行13000...
caffe常见错误
Black eyes的博客
06-30 1975
*** Error in `../../build/tools/caffe.bin': malloc(): memory corruption (fast): 0x0000000006598790 *** *** Aborted at 1498809502 (unix time) try "date -d @1498809502" if you are using GNU date *** P
Aborted at 1558411171 (unix time) try "date -d @1558411171" if you are using GNU date
qinglv1的博客
05-21 3568
Aborted at 1558411171 (unix time) try "date -d @1558411171" if you are using GNU date caffe环境是从别的机器上面拷贝过来的，直接进行了make，编译完全通过，但是不能使用。 make clean了一下，再编译就可以正常进行使用了 ...
*** Aborted at 1482144515 (unix time) try "date -d @1482144515" if you are using GNU date ***
北漠苍狼的专栏(QQ:1746430162)
12-19 6644
*** Aborted at 1482144515 (unix time) try "date -d @1482144515" if you are using GNU date *** PC: @     0x7f3e328ff7d0 (unknown) *** SIGSEGV (@0x100000001) received by PID 2700 (TID 0x7f3e32f61880)
FatalError: `Segmentation fault` is detected by the operating system. [TimeInfo: *** Aborted at 1752568501 (unix time) try "date -d @1752568501" if you are using GNU date ***] [SignalInfo: *** SIGSEGV (@0x0) received by PID 3203 (TID 0x7f8a04143340) from PID 0 ***]，训练模型中出现上述错误，怎么解决
最新发布
07-16
<think>我们面对的是一个模型训练过程中出现的Segmentation fault错误。根据引用[1]，Segmentation Fault通常是由非法内存访问引起的，常见原因包括空指针解引用、数组越界、使用未初始化指针等。在深度学习训练场景中，还可能涉及显存溢出、CUDA内核错误等。 引用[2]展示了一个具体案例：在PaddlePaddle框架中遇到Segmentation fault，并提示了C++ Traceback。这通常表明底层C++代码出现了问题。而引用[3]则提到Python环境下的Segmentation fault，可能涉及Python扩展模块的错误。 解决步骤： 1. **缩小问题范围**：确定是框架内部错误还是用户代码错误。尝试简化模型和数据集，看是否能复现错误。 2. **检查显存和内存**：使用`nvidia-smi`监控显存占用，使用`free -m`检查内存。显存溢出可能导致此类错误。 3. **检查数据加载**：确保数据输入没有越界或空值。可尝试使用小批量数据或合成数据测试。 4. **更新环境和依赖**：确保CUDA、cuDNN、框架版本兼容。引用[2]中显示CUDA 10.1和cuDNN 8.0，需确认版本匹配。 5. **调试工具**： - 对于C++层面错误，可使用gdb调试（如`gdb python`然后`run train.py`）。 - 对于Python，可使用`faulthandler`模块（在代码开头添加`import faulthandler; faulthandler.enable()`）。 6. **框架特定调试**： - PaddlePaddle：开启详细日志（注释`disable_glog_info()`），如引用[2]所做。 - 其他框架：查找类似日志开关。 **关键建议**： - 如果错误发生在多进程/分布式训练中，尝试单进程模式。 - 检查自定义算子（如果有）的内存安全性。 - 参考框架的官方issue，搜索类似错误。 若以上步骤无法解决，可提供更详细的错误堆栈信息以便进一步分析。</think>### Segmentation Fault 在模型训练中的分析与解决 模型训练中出现 `FatalError: Segmentation fault` 错误表明操作系统检测到了非法内存访问，这是深度学习训练中常见但棘手的问题。以下是系统性解决步骤： #### 一、核心排查方向 1. **显存问题**（最常见原因） - **显存溢出**：使用 `nvidia-smi -l 1` 实时监控显存占用 - **显存碎片**：尝试减小 `batch_size` 或使用梯度累积 - **混合精度冲突**：禁用 AMP（自动混合精度）测试 ```bash export CUDA_VISIBLE_DEVICES=0 # 单卡测试 python train.py --amp_level O0 # 禁用混合精度 ``` 2. **数据加载问题** - 检查数据管道中的空指针/越界访问： ```python # 添加数据验证 for data in dataloader: assert not torch.isnan(data).any(), "NaN in input data" assert data.max() < 1e5, "Abnormal value" ``` - 尝试使用合成数据测试：`dataset = torch.randn(1000, 3, 224, 224)` 3. **依赖冲突**（关键排查点） - 验证 CUDA/cuDNN 版本兼容性： ```bash nvcc --version # CUDA 版本 cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2 # cuDNN 版本 ``` - 创建纯净虚拟环境： ```bash conda create -n debug_env python=3.8 conda install cudatoolkit=11.1 cudnn=8.0.5 # 需匹配GPU驱动版本 ``` #### 二、高级调试技巧 1. **堆栈追踪**（引用[2]案例方法） - 启用详细日志： ```python import paddle paddle.disable_signal_handler() # PaddlePaddle 特有 paddle.set_flags({"FLAGS_allocator_strategy": "auto_growth"}) ``` - 获取 C++ 堆栈： ```bash gdb -ex r --args python train.py # 出现错误时输入 `bt full` ``` 2. **内存诊断工具** - `cuda-memcheck` 检测显存错误： ```bash cuda-memcheck --tool memcheck python train.py ``` - `valgrind` 检测内存泄漏（CPU 模式）： ```bash CUDA_VISIBLE_DEVICES='' valgrind --leak-check=full python train.py ``` #### 三、框架特定解决方案 | 框架 | 常见修复方案 | 验证命令 | |------------|---------------------------------------|------------------------------| | PyTorch | 升级 CUDA 驱动，禁用 CUDA 异步执行 | `torch.use_deterministic_algorithms(True)` | | TensorFlow | 设置 GPU 内存自增长 | `tf.config.experimental.set_memory_growth()` | | PaddlePaddle | 关闭日志缓存（引用[2]方案） | `config.disable_glog_info()` | #### 四、预防措施 1. **渐进式训练法**： ```python model = nn.Sequential( # 逐层激活测试 model.layers[0], nn.ReLU() ).cuda() ``` 2. **硬件检查**： - 运行 `stress-ng --vm 1 --vm-bytes 90% -t 24h` 内存压力测试 - 使用 `dldiagnose`（NVIDIA 诊断工具）检测 GPU 硬件错误 > **关键建议**：当错误信息包含 `C++ Traceback`（如引用[2]）时，优先考虑框架原生扩展的编译问题。建议在 Docker 中使用官方预编译镜像避免此问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值