tensorflow object_detection api ERROR:tensorflow:Model diverged with loss = NaN.

最新推荐文章于 2022-09-10 14:38:29 发布
最新推荐文章于 2022-09-10 14:38:29 发布
阅读量3.3k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 错误 文章标签： tensorflow object detection error NaN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36735489/article/details/87998900
当使用model_main.py进行迁移学习训练遇到Model diverged with loss=NaN.错误时，可通过替换为legacy/train.py来解决。此外，升级TensorFlow至1.11版本也可能解决问题，但需谨慎操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

进行迁移学习时，使用model_main.py进行训练，无脑报错#“ERROR:tensorflow:Model diverged with loss = NaN.”。后来上github一查，看了一些言论，应该是版本问题，可以替换为models\research\object_detection\legacy\train.py 来进行训练。
也就说将原来你使用的：
python model_main.py --model_dir=training/ --pipeline_config_path=training/ssd_inception_v2_coco.config --logtostderr
替换为：
python ./legacy/train.py --pipeline_config_path=pipeline_config/ssd_mobilenet_v2_coco.config --train_dir=training/ --logtostderr
注意关键字不同
ps.也有人说将tf升级到1.11版本就行，但是升级真的牵一发动全身。。需谨慎，而且我还没试过。。不敢妄言

TensorFlow 基于estimator 在loss第一个step就为NaN时 打印input_fn里输入的数据，（报错 Model diverged with loss = NaN）
Love-Coding
05-13 826
基于estimator，在loss第一个step就为NaN时，想打印tensor，需要构造一个 伪loss 传入train_op 以让整体跑通： fake_loss = tf.reduce_mean( tf.nn.sigmoid_cross_entropy_with_logits( labels = tf.ones([batch_size,1]), logits = tf.cast(tf.ones([batch_size,1]), tf.float32) ) ) 整体跑通后 这时
TensorFlow例程cifar10学习笔记
计算机视觉与深度学习实践
04-03 758
0.前言 1.预处理 2.训练模型建立 3.损失函数 4.模型训练 0.前言 cifar-10的学习例程是tensorflow的github上来的，里面有cifar10_train.py用于CPU或单GPU，我主要看的是cifar10_multi_gpu_train.py，用于多gpu上的训练。总的来说，程序实现的功能很明了，从cifar10数据集读取训练集图片经过预处理进入网络...
TensorFlow Object Detection目标检测模型训练时Loss急剧上升直至为NAN
星沉阁
07-21 1883
今天用TensorFlow Object Detection训练目标检测模型的时候，Loss一直不正常，先下降了一下，然后急剧上升直至为NAN。然后报错Model diverged with loss = NaN.。截取部分日志如下： INFO:tensorflow:loss = 18919772.0, step = 0 INFO:tensorflow:loss = 344412.66, step = 100 (27.579 sec) INFO:tensorflow:loss = 156323.77, st
tensorflow 训练的时候loss=nan
weixin_30299539的博客
05-08 265
出现loss为nan 可能是使用了relu激活函数,导致的.因为在负半轴上输出都是0 转载于:https://www.cnblogs.com/mengxiangtiankongfenwailan/p/10831645.html
模型训练中出现NaN Loss的原因及解决方法
qq_41289353的博客
09-10 1558
模型训练中出现NaN Loss的原因及解决方法
python为什么会出现nan_python - 深度学习Loss Nan的原因
weixin_39805720的博客
12-09 3265
在深度学习中Loss出现Nan的可能原因有哪些？也许这个问题太笼统，但是谁能大致解释下导致卷积神经网络发散的原因呢？问题细节：我正在使用Tensorflow的iris_training模型以及一些我自己的数据，老是出现以下报错：ERROR:tensorflow:Model diverged with loss = NaN.Traceback...tensorflow.contrib.learn.p...
GoogLeNet tensorflow完整复现
weixin_41243677的博客
05-17 492
代码来源《深度学习：卷积神经网络从入门到精通》，使用oxflower—17数据集 # train.py from __future__ import absolute_import from __future__ import division from __future__ import print_function from datetime import datetime import os.path import time import numpy as np from six.moves i.
Tensorflow分布式训练原理
林学森的技术专栏
04-26 2210
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为优快云博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
tensorflow自定义网络模型
eilot_c的博客
10-17 1294
SlimTF-Slim 模块是 TensorFlow 中最好用的 API 之一。尤其是里面引入的 arg_scope、model_variables、repeat、stack。TF-Slim 是 TensorFlow 中一个用来构建、训练、评估复杂模型的轻量化库。TF-Slim 模块可以和 TensorFlow 中其它API混合使用。...
GPU下train 模型出现nan
weixin_30484739的博客
01-31 360
When training on GPU, the error "Model diverged with loss = NaN" is often caused by a sotmax that's getting a symbol larger than vocab_size 转载于:https://www.cnblogs.com/wuxiangli/p/10344259.html...
【机器学习技巧】-训练过程中，loss参数出现NAN怎么解决？解决方案汇总？
小坏蛋的博客
03-26 1万+
深度神经网络在训练过程中，loss参数出现NAN怎么解决？解决方案？
tensorflow从0开始（7）——利用tensorflow进行开发的准备工作（续1）
searobbers_duck的博客
06-30 4万+
tensorflow开发流程——表情分析（前期准备） Cifar10程序分析 为什么要做这个解读，个人看来，Cifar是一个图像多分类的经典案例。学习tensorflow以来，还没有任何实质性的进展。个人认为把Cifar问题的输入，换成其它的分类图像数据，应该也可以训练出来不同的分类模型，来对不同的图像数据集进行分类，所以先要搞清楚Cifar Demo的整个过程（关于此观点是否成立
TensorFlow 从入门到精通（四）：CIFAR10 多 GPU 版本例程源码分析
卜居
05-22 1万+
# Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtai
训练model过程中，loss=nan问题时该怎么解决？
u011630472的博客
08-08 1011
当我在UCF-101数据集训练alexnet时，epoch设为100，跑到三十多个epoch时，出现了loss=nan问题，当时是一脸懵逼，在查阅资料后，我通过减小学习率解决了问题，现总结一下出现这个问题的可能原因及解决方法： 1. 减小整体学习率。学习率比较大的时候，参数可能over shoot了，结果就是找不到极小值点； 减小学习率可以让参数朝着极值点前进； 2. 改变网络宽度。有可能是网络后面的层参数更新异常，增加后面层的宽度试试； 3. 改变层的学习率。每个层都可以设置学习率，可以尝试减小后...
TensorFlow学习笔记（十）： CIFAR-10
热门推荐
沫尘的博客
05-26 6万+
1. CIFAR-10 Cifar-10 是由 Hinton 的两个大弟子 Alex Krizhevsky、Ilya Sutskever 收集的一个用于普适物体识别的数据集。Cifar 是加拿大政府牵头投资的一个先进科学项目研究所。Hinton、Bengio和他的学生在2004年拿到了 Cifar 投资的少量资金，建立了神经计算和自适应感知项目。这个项目结集了不少计算机科学家、生物学家、电气
CIFAR10 多 GPU 版本例程源码分析
战斗蜗牛的专栏
02-07 2369
# Copyright 2015 Google Inc. All Rights Reserved.   #   # Licensed under the Apache License, Version 2.0 (the "License");   # you may not use this file except in compliance with the License.   # Y
tensorflow cifar10 代码详解
canwang_sjtu的博客
09-08 4113
刚看时看代码比价懵逼，还好其实不难。写出来注释加深理解一下。 代码主要分为4个py文件。详细请见代码的注释。 注：由于tensorflow进行了更新，一些函数名已经在代码中改动。 input.py # -*- coding: utf-8 -*- # Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the A
$ git status On branch tran.wtz.wam_odc_main.mp1.rc_v12.13_os15.1.0_mp.rel_250410 Your branch and 'origin/tran.wtz.wam_odc_main.mp1.rc_v12.13_os15.1.0_mp.rel_250410' have diverged, and have 1 and 4 different commits each, respectively. (use "git pull" to merge the remote branch into yours) nothing to commit, working tree clean
最新发布
07-03
<think>我们正在处理用户关于Git分支状态的问题。用户执行了`git status`，显示本地分支和远程分支有不同提交，需要知道如何合并或处理这种情况。根据引用，我们可以参考Git分支合并和同步的相关操作。步骤分析：1.用户可能处于本地分支，而该分支跟踪了远程分支（例如origin/branch_name）。2.`gitstatus`显示有分歧，意味着本地分支和远程分支都有新的提交，需要合并。处理方式通常有两种：a)合并（merge）：将远程分支的修改合并到本地分支。b)变基（rebase）：将本地提交移到远程分支的最新提交之后，使历史更线性。另外，如果用户想放弃本地修改或远程修改，也可以使用重置（reset）或强制推送（push-f），但强制推送需谨慎，尤其是在协作环境中。根据引用[4]：合并分支的一般步骤是：-切换到要合并的分支（例如，如果要将远程分支合并到当前分支，则当前分支就是目标分支）-执行合并命令：git merge<远程分支名>或 gitpull（pull相当于fetch+merge）但是，由于有分歧，直接pull可能会产生合并提交。引用[2]提到：用户尝试从远程main分支合并到本地的dev-libai分支，步骤是：-确保当前分支是远程main分支（但实际上，合并操作应该在目标分支上执行，即应该在dev-libai分支上执行合并远程main分支的操作？这里引用[2]的描述可能有点问题，因为通常我们不会在远程分支上直接操作，而是会在本地分支上合并远程分支）正确的做法应该是：-确保当前分支是本地分支（比如dev-libai），然后执行合并远程分支的操作：gitmerge origin/main（如果远程分支是origin/main的话）但更常见的做法是使用`git pull`来同步当前分支（前提是当前分支已经设置了跟踪远程分支）。如果用户还没有设置跟踪，可以参考引用[1]：使用`gitpush --set-upstream originbranch_name`来设置跟踪。因此，针对用户的情况，我们可以给出以下建议：情况1：希望保留本地提交并整合远程提交（合并）步骤：1.确保当前分支是你要合并的本地分支（比如feature分支）。2.执行`git fetch`（获取远程最新状态，但不合并）。3.然后可以选择合并：`gitmerge origin/远程分支名`（如果当前分支跟踪了远程分支，可以直接用`git pull`，但`gitpull`会立即合并，而分开fetch和merge可以让你先查看变化）。4.解决可能出现的冲突（如果有的话）。5.提交合并后的结果：`gitcommit`（如果使用merge并且有冲突，需要手动提交；如果没有冲突，merge会自动提交）。6.推送合并后的结果到远程：`git push`。情况2：希望以变基方式整合（推荐保持提交历史线性）步骤：1.`gitfetch`2. `git rebase origin/远程分支名`（将本地提交变基到远程分支最新提交之上）3.如果变基过程中有冲突，解决冲突，然后`git rebase --continue`。4.变基完成后，由于历史改变了，需要强制推送：`git push-f`（注意：强制推送会覆盖远程分支，确保只有你一个人在这个分支上工作，否则可能影响他人）。情况3：放弃本地修改，直接使用远程分支步骤：1. `git fetch`2. `git reset--hardorigin/远程分支名`（注意：这会丢弃本地所有未提交的修改和提交，使其与远程分支完全一致）情况4：放弃远程修改，强制用本地分支覆盖远程分支（谨慎使用）1. `git push-f` （强制推送，前提是你确定远程分支的修改不需要了）注意：在合并或变基前，建议先保存工作进度（使用`gitstash`）以防止意外。根据引用[3]和[4]，我们还可以总结一些常用命令。由于用户的问题是关于`git status`显示有分歧，我们首先需要确认当前分支是否设置了跟踪远程分支。如果没有设置，需要先设置跟踪（如引用[1]所示）。因此，具体步骤可以这样：1.检查当前分支跟踪的远程分支：`gitbranch -vv`，查看是否有跟踪关系。2.如果没有跟踪，可以设置跟踪：`git branch--set-upstream-to=origin/远程分支名`（或者使用`git push--set-upstream origin分支名`，但这是在第一次推送时设置跟踪，并且会创建远程分支）。假设已经有跟踪关系，那么我们可以选择合并或变基。推荐步骤（合并方式）：gitfetch#获取远程更新git merge#合并到当前分支（因为设置了跟踪，所以可以直接用这个命令，它会合并跟踪的远程分支）#或者使用 gitpull （相当于 gitfetch +git merge）或者（变基方式）：git fetchgit rebase#同样，如果设置了跟踪，可以直接用，否则需要指定远程分支但是，如果用户在执行`gitstatus`后看到类似这样的提示：Yourbranch and'origin/branch'have diverged,andhave1 and2different commitseach,respectively.那么，用户可以选择上述方法之一。为了清晰，我们给出一个完整的合并示例（假设当前分支为dev，跟踪的是origin/dev）：1.确保当前分支是dev：`gitcheckout dev` （如果已经在dev分支则跳过）2.获取远程更新：`git fetch`3.合并：`gitmerge origin/dev`或者直接`gitpull`（因为pull会默认合并）4.解决冲突（如果有的话）5.提交合并结果（如果有冲突，需要手动提交；没有冲突，merge会自动提交）6.推送：`gitpush`变基示例：1.`gitcheckoutdev`2. `git fetch`3.`gitrebaseorigin/dev`4.解决冲突（如果有）5. `git rebase --continue`（直到变基完成）6.`gitpush -f`#因为变基改变了历史，所以需要强制推送注意：变基后强制推送可能会影响其他也在该分支工作的开发者，所以请确保只有你一个人使用该分支，或者团队允许变基。最后，根据引用[4]的总结，合并分支并提交远程的操作是常见的。因此，回答将围绕这些步骤展开。</think>### Git 分支分歧处理指南 当 `git status` 显示本地分支与远程分支存在不同提交时，说明两个分支已**分叉（diverged）**。以下是处理流程： #### 1. 确认分支状态 ```bash git status ``` 输出示例： ``` Your branch and 'origin/main' have diverged, and have 1 and 2 different commits each, respectively. ``` #### 2. 推荐解决方案：合并远程更新 ```bash # 拉取远程更新并合并（保留提交历史） git pull origin 远程分支名 ``` - **工作流程**： 1. `git pull` = `git fetch` + `git merge` 2. 自动创建合并提交（保留双方历史） 3. 出现冲突时需手动解决： - 编辑冲突文件（搜索 `<<<<<<<` 标记） - 执行 `git add 冲突文件名` - 完成合并：`git commit` #### 3. 替代方案：变基整合（线性历史） ```bash # 将本地提交移到远程分支顶端 git pull --rebase origin 远程分支名 ``` - **适用场景**： - 需要整洁的线性提交历史 - 本地提交量较少时 - **冲突处理**： 1. 解决冲突后 `git add 文件名` 2. 继续变基：`git rebase --continue` 3. 放弃变基：`git rebase --abort` #### 4. 强制覆盖（谨慎使用！） ```bash # 丢弃本地提交，完全同步远程分支 git reset --hard origin/远程分支名 ``` - **风险提示**： - 永久删除本地未推送的提交 - 仅限个人分支使用，禁止协作分支操作[^4] #### 5. 设置分支跟踪（预防问题） ```bash # 首次推送本地分支时建立跟踪 git push --set-upstream origin 分支名 ``` - **作用**：后续 `git push/pull` 自动关联远程分支[^1] > **操作建议**：优先使用 `git pull` 合并更新。出现冲突时，可用 `git mergetool` 可视化工具解决。完成合并后务必 `git push` 同步到远程仓库[^4]。 --- ### 常见问题场景处理 | 场景 | 解决方案 | |------|----------| | 需保留双方提交历史 | `git pull` (默认合并) | | 需线性提交历史 | `git pull --rebase` | | 放弃本地修改 | `git reset --hard origin/分支名` | | 放弃远程修改 | `git push --force` (慎用!) | | 未建立分支跟踪 | `git branch --set-upstream-to=origin/远程分支名` | --- ### 分支同步原理图 ``` 本地分支 A -- B -- C [your commits] | 远程分支 A -- B -- D -- E [remote commits] ``` 合并后 (`git pull`)： ``` A -- B -- C -- M [merge commit] \ / D --- E ``` 变基后 (`git pull --rebase`)： ``` A -- B -- D -- E -- C' [replayed commits] ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值