class 'tensorflow.python.framework.errors_impl.UnavailableError, OS Error

最新推荐文章于 2023-03-27 12:57:27 发布

后厂村葫芦娃

最新推荐文章于 2023-03-27 12:57:27 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： tensorflow 文章标签： tensorflow 分布式 OS Error

本文链接：https://blog.youkuaiyun.com/u012133034/article/details/81189246

tensorflow 专栏收录该内容

6 篇文章

订阅专栏

本文针对在使用TensorFlow进行分布式训练时遇到的OSError问题，提供了两种有效的解决方案。一是通过在启动worker时加入延迟，二是将tf.train.Supervisor替换为tf.train.MonitoredTrainingSession，以增强session的稳定性和健壮性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

具体报错如下：

2018-07-24 16:28:43.875720: E tensorflow/core/distributed_runtime/master.cc:269] Master init: Unavailable: OS Error
INFO:tensorflow:Error reported to Coordinator: <class 'tensorflow.python.framework.errors_impl.UnavailableError'>, OS Error

该报错是在tensorflow分布式训练下报的，通过查找资料，可能是tensorflow的一个bug，不过解决方法也是有的。

方法一：

在起worker时加上延时，我是在脚本里加了sleep 5秒，我用的这个方法，加了之后，就没报错了；

方法二：

把tf.train.Supervisor 改成tf.train.MonitoredTrainingSession，因为Supervisor 这个在报错后就直接退出，MonitorTrainingSession当初始化失败后，会重新创建一个新的session。

具体可以参考以下资料：

https://github.com/Qihoo360/XLearning/issues/23

https://github.com/tensorflow/tensorflow/issues/17852

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

后厂村葫芦娃

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【改进中-】改正错误：tensorflow.python.framework.errors_impl.NotFoundError: FindFirstFile failed for: ...

gongdiwudu的专栏

07-15

9460

这里是用tf模块时候，最常见的错误，就是模块与当下程序所指的路径不一致。改出后做此记录。

成功解决tensorflow.python.framework.errors_impl.FailedPreconditionError: logs is not a directory报错

最新发布

m0_63082805的博客

03-20

7788

在进行深度学习时，程序报错tensorflow.python.framework.errors_impl.FailedPreconditionError: XXX is not a directory。XXX是文件夹目录。在确保代码正确后，我认识到是装配环境有问题，并检查了如下环境：cuda、cudnn、pytorch、tensorflow、python，在重装完以上环境后，代码顺利跑通了。变量指向的目录存在，确保路径字符串是正确的，并且不包含任何非法字符。目录下不存在名为XXX 的同名文件，而非目录。

1 条评论您还未登录，请先登录后发表或查看评论

解决报错：tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm.

个人博客

04-10

2万+

早上在使用tensorflow时报了下面的错： 2019-04-10 10:19:31.648250: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2 20...

tensorflow.python.framework.errors_impl.UnavailableError: OS Error

qq_40220833的博客

05-25

1219

今天在做分布式实例搭建的时候出现了上述问题。出现现象：1.当只有1台参数服务器，1台计算服务器的时候，程序是没有问题的（也可能只是我尝试的那次没有问题） 2.当使用1台参数服务器，2台计算服务器的时候，程序就出现了上述的问题。一开始以为是gRPC的问题，因为一开始出现的问题是 tensorflow.python.framework.errors_impl.UnknownError: C...

【Tensorflow 2】解决tensorflow.python.framework.errors_impl.UnknownError: [_Derived_] Fail to find the

BetterBench的博客

03-08

2282

1 问题环境 Deepin 20 OS linux系统 Tensorflow2.0 Python3.6 GPU Rtx 2070 cuda 10.0 cudnn 10.0 在使用双向LSTM时 tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)), 报以下错误信息 tensorflow.python.framework.errors_impl.UnknownError: [Derived] Fail to find the dnn im

tensorflow-协调器

NockinOnHeavensDoor的博客

05-25

433

修改了代码跑不出来，可能版本变了？ – 即内存队列前,有一个文件队列，文件队列存放的参与训练的文件名，设为N个epoch，则文件名队列中有N个批次的所有文件名。 tf.train.slice_input_producer # -*- coding:utf-8 -*- import tensorflow as tf import numpy as np # 样本个数 ...

【TensorFlow】报错tensorflow.python.framework.errors_impl.DataLossError

zuolixiangfisher的博客

08-22

2772

今天在例行训练模型的时候突然遇到这个错误很奇怪，模型可以迭代几千个batch，我以为是平台的问题，然后重新跑了一次，发现又是这样，迭代了几千个batch之后报这个错误。 google搜索了一下，发现有朋友遇到过，有的说是因为pycache存在的缘故，我理解是文件之间有引入加载关系，生成了一些临时cache文件，重新训练的时候如果不把上一次训练的cache文件删掉，那就会默认使用原来的文件，如果代码里有变动，那就会出现问题。但我的代码并未改动，因此不是这个原因。后来看到参考资料1，发现可能是TFReco

tensorflow-gpu报错：tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found

laxyer的博客

03-27

1775

tensorflow.python.framework.errors_impl.UnknownError: 2 root error(s) found. (0) Unknown: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above. [[{{no

tensorflow.python.framework.errors_impl.InvalidArgumentError exception str() failed解决办法

weixin_44780082的博客

01-11

2754

项目场景：这几天使用python2.7+tensorflow1.8写目标提取及情感分析的模型。因为参考的论文模型代码是这个环境，不得已使用了tensorflow1.8, tensorflow1.8很多东西和2.0都不一样。运行过程中出现了以下错误：问题描述： Tensorflow报错tensorflow.python.framework.errors_impl.InvalidArgumentError exception str() failed原因在代码中使用到了placeholder，使用plac

tensorflow.python.framework.errors_impl.InvalidArgumentError: indices[0] = 82620 is not in [0, 81648

qq_37906928的博客

12-01

2834

最近在复现别人代码的时候，遇到如下问题： Traceback (most recent call last): File "/home/robot/.virtualenvs/tensor/lib/python3.6/site-packages/tensorflow_core/python/client/session.py", line 1365, in _do_call return fn(*args) File "/home/robot/.virtualenvs/tensor/lib/...

tensorflow常见bug总结

BigCherry的博客

04-18

775

tensorflow常见错误汇总 1, ‘utf-8’ codec can’t decode byte 0xff in position 0: invalid start byte 选择一款你喜欢的代码片高亮样式，下面展示同样高亮的代码片. //当运行下面代码时 image_raw_data = tf.gfile.FastGFile(image_path).read() utf-8不能对ima...

tensorflow object detection 训练自己的数据集

hust平凡之路的博客

03-28

5189

上一篇博文，已经准备好了自己的数据集，本博文主要记录如何训练自己的数据集。参考博文https://www.cnblogs.com/qcloud1001/p/7677661.html一、准备预训练模型1、各种预训练模型下载地址本博文选择 ssd_mobilenet_v1_coco模型解压压缩文件，得到如图所示的5个文件。在data所在目录下创建training文件夹，在里面新建dataset...

Windows - tensorflow.python.framework.errors_impl.UnknownError: Failed to rename

wyfever的博客

11-13

1801

最近在调试tensorflow，环境是win10，IDE pycharm tensorflow 2.5 python3.6在使用tensorflow训练的模型时，模型能够训练出来，在保存未checkpoint时却不能被以.ckpt的形式保存，出现了很多问题，在经过几天的查询后，最终也得到了解决。这里感慨一下学习途中真的坎坷和艰难，顺便记录一下，希望帮助到有需要的同学。保存checkpoint调用的主要代码如下。

python错误tensorflow.python.framework.errors_impl.InvalidArgumentError Assign requires shapes of both

集电极

07-27

8827

python 错误tensorflow.python.framework.errors_impl.InvalidArgumentError: Assign requires shapes of both tensors to match. lhs shape= [24,1] rhs shape= [32,1] 错误 tensorflow.python.framework.errors_impl.InvalidArgumentError: Assign requires shapes of both ten

Deeplab V3+训练自己数据集全过程

jairana的博客

11-09

4万+

Deeplab V3+训练过程0. 参考链接1. 制作数据集1. 制作json文件。2. 批量转换 json--png3. 数据集目录制作4. 生成tfrecord2. 训练前代码准备1. 修改segmentation_dataset.py2. 修改train_utils.py3. 数据不平衡问题4. 修改train .py3. TRAIN1. train2. vis3. val4. 生成更方便观...

TensorFlow使用next_batch()读取/tensorflow.python.framework.errors_impl.InvalidArgumentError: Expect 3 fi

深度强化学习(DeepRL)探索博客

09-25

1万+

分批次读取csv文件，如图：源代码： import tensorflow as tf import numpy as np def readMyFileFormat(fileNameQueue): reader = tf.TextLineReader() key, value = reader.read(fileNameQueue) record_defa

BUG 修复-模型训练报错: tensorflow.python.framework.errors_impl.NotFoundError

随意聊点

07-03

1万+

有latest_checkpoint的时候，移动文件目录或者电脑后，必须先运行，训练文件，保存最近模型。才可使用模型

Tensorflow一些常用基本概念与函数（2）