Unable to open table file ..\data\model_ckpt: Unknown: NewRandomAccessFile failed to Create/Open:

最新推荐文章于 2021-05-10 13:43:08 发布
最新推荐文章于 2021-05-10 13:43:08 发布
阅读量9.6k 收藏 5
点赞数 2
分类专栏： tensorflow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mtj66/article/details/79635368
版权

Unable to open table file ..\data\model_ckpt: Unknown: NewRandomAccessFile failed to Create/Open:

这里是因为加载模型,但是目录文件夹下并不存在保存的模型,
下载指定额模型放到data目录下,并修改checkpoint的目录为..\data\model.chpt
下载模型解压如下 :

$ ll ssd_mobilenet_v1_coco_2017_11_17/
total 58153
-rw-r--r-- 1 sh04595 1049089       77 11月 18 12:01 checkpoint
-rw-r--r-- 1 sh04595 1049089 29112121 11月 18 12:01 frozen_inference_graph.pb
-rw-r--r-- 1 sh04595 1049089 27380740 11月 18 12:01 model.ckpt.data-00000-of-00001
-rw-r--r-- 1 sh04595 1049089     8937 11月 18 12:01 model.ckpt.index
-rw-r--r-- 1 sh04595 1049089  3038417 11月 18 12:01 model.ckpt.meta
drwxr-xr-x 1 sh04595 1049089        0 3月  20 15:13 saved_model/

ssd_mobilenet_v1_pets.config 配置checkpoint如下:

  fine_tune_checkpoint: "E:\\tensorflow-relevant-download\\light_dection\\ssd_mobilenet_v1_coco_2017_11_17\\model.ckpt"
  from_detection_checkpoint: true
【改进中-】改正错误：tensorflow.python.framework.errors_impl.NotFoundError: FindFirstFile failed for: ...
gongdiwudu的专栏
07-15 9375
这里是用tf模块时候，最常见的错误，就是模块与当下程序所指的路径不一致。改出后做此记录。
OSError:Error no file named pytorch model.bin,tf model.h5,model.ckpt.index or flax model.msgpack解决方案
热门推荐
weixin_43178406的博客
12-14 6万+
本文主要介绍了OSError: Error no file named pytorch model.bin, tf model.h5, model.ckpt.index or flax model.msgpack解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Yolov3 DataLossError (see above for traceback): Unable to open table file .data-00000-of-00001
wukai0909的博客
09-14 1275
DataLossError (see above for traceback): Unable to open table file ./yolo_v3/data/darknet_weights/best_model_Epoch_110_step_80474_mAP_0.8524_loss_3.0749_lr_1e-05.data-00000-of-00001: Data loss: not a...
DataLossError (see above for traceback): Unable to open table file原因总结！
我的博客
03-20 4923
就是save_path书写方式不对！！！ 路径不能精确到文件！ 如保存操作为saver.save(sess, “train_model”) 那么会产生四个文件，分别为： 1.checkpoint 2.train_model-100.index 3.train_model-100.meta 4.train_model-100.data-00000-of-00001 那么导入时，saver.resto...
NewRandomAccessFile faile d to Create/Open解决方案
twpsuperman的博客
03-30 2748
在学习object_detection时，在创建自己的训练、测试数据时，将图片用labelImg标注后，用python读取图片标注后对应的xml文件到csv文件中，再将csv文件的数据转化为TFRecords时我遇到了如下问题： 仔细阅读代码我们会发现： path = os.path.join(os.getcwd(), 'images') 我们会发现当前文件夹下根本就没有这个文件夹，解...
Unable to open table file tmp\speech_commands_train\best\checkpoint: Data lo
tian_jiangnan的博客
03-19 325
报错背景 加载训练的模型 报错信息如下 以下是我的训练模型 错误原因 模型一般是.ckpt或者.h结尾的； 如果你发现没有这样的，不要慌，用记事本打开上面的文档（没有后缀名的） 解决方案 default='tmp/speech_commands_train/best/dnn_8777.ckpt-17600', ...
NewRandomAccessFile failed to Create/Open问题解决
lw_2352的博客
07-02 1万+
在生成TFrecord文件时出现了这个错误。小白错误……压根没仔细看代码，代码里的某个文件夹不存在，也就是说直接用别人的文件夹时看清楚自己是不是也用的同样的文件夹，# path = os.path.join(os.getcwd(), 'images') # 混合当前路径形成新的路径问题出在这一句，没有images这个文件夹。tensorflow.python.framework.errors_...
DataLossError (see above for traceback): Unable to open table file
Zhang_xi_xi_94的博客
07-30 6401
最近在练习使用TensorFlow框架进行模型的训练和恢复，在进行模型恢复的过程中遇到了问题： 原代码： meta_path = 'data_batch.txt_epoch_2.ckpt.meta'            #图路径 model_path = 'data_batch.txt_epoch_2.ckpt.data-00000-of-00001'                #数据路...
bert_model.ckpt.data-00000-of-00001
08-08
bert_model.ckpt.data-00000-of-00001
NewRandomAccessFile failed to Create/Open问题解决方法
www_minna_com的博客
11-04 9117
原文https://blog.csdn.net/lw_2352/article/details/80884230 在生成TFrecord文件时出现了这个错误。 小白错误……压根没仔细看代码，代码里的某个文件夹不存在，也就是说直接用别人的文件夹时看清楚自己是不是也用的同样的文件夹， path = os.path.join(os.getcwd(), ‘images’) # 混合当前路径形成新的路径 ...
Unable to open underlying table
AinUser的博客
11-14 597
遇到这个错误应该是在merge分表的时候遇到的 主要原因呢，是因为子表和主表中的字段，主键，约束啥的，其中有不一样的元素 才会导致这种原因
报错解决：DataLossError: Unable to open table file Data loss: not an sstable (bad magic number):
sazass的博客
12-01 5034
tensorflow 下加载bert模型权重文件，报错 源代码如下： # bert配置 config_path = './publish/bert_config.json' checkpoint_path = './publish/model.ckpt' dict_path = './publish/vocab.txt' 然后报错： Could not open .\publish\model.ckpt: Data loss: not an sstable (bad magic number):perha
关于RandomAccessFile的问题
exception_all的博客
01-04 1676
java.io.RandomAccessFile是一个用来读写文件数据的类。但是，它也可以用来方便的创建一个文件。   通常，我们要是用java.io.File 这个类来创建文件的。它创建文件的代码如下： File file = new File("demo.txt");//表示在当前目录下创建了一个名为 demo.txt 的文件对象，但是现在还不会在文件目录下显示。要想真正创建出这个文件需要
tensorflow.python.framework.errors_impl.DataLossError:Unable to open table file xxx perhaps ........
weixin_43220532的博客
05-10 2728
tensorflow加载预训练模型报错： tensorflow.python.framework.errors_impl.DataLossError: Unable to open table file /home/chinese_L-12_H-768_A-12/bert_model.ckpt.data-00000-of-00001: Data loss: not an sstable (bad magic number): perhaps your file is in a different file
Centos6.10安装impala集成kudu之错误
a376554764的博客
04-12 726
Centos6.10安装impala集成kudu时，修改了hdfs-site.xml文件时，加入了下面属性： <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 然后重新启动hdf...
Win10+tensorflow:SSD调试问题：Unable to open table file ../checkpoints/ssd_300_vgg.ckpt
去向前方的博客
07-02 3525
目录 目录 前言 正文 解决方案 前言 又到了一年考试周，本着机会完成上次没有实现的任务，使用深度学习做目标检测，yolov3已经调试通过，再试用SSD时遇到了一个奇怪的问题。 正文 官网给的SSD的测试一张图片的方法是运行NOTEBOOK中的文件，按照官网给的方式运行完会在浏览器上出现代码以及结果，将其中的checkpoint和demo图片的路径改为我的路径，运行出现了一个...
SSD测试一张图片——Unable to open table file ../checkpoints/ssd_300_vgg.ckpt
Seven_year_Promise的博客
02-10 3116
官网给的SSD的测试一张图片的方法是运行NOTEBOOK中的文件，个人感觉很费劲，不知道为啥要用这样的方式。 按照官网给的方式运行完会在浏览器上出现代码以及结果，我将所有代码按照顺序复制粘贴到了一个py文件中，将其中的checkpoint和demo图片的路径改为我的路径，运行出现了一个错误，如下： DataLossError: Unable to open table file ../
Traceback (most recent call last): File "train.py", line 185, in <module> train() File "train.py", line 150, in train trainer.start() File "/home/nvidia/chenboln/4HDR-GAN-master/tensorkit/train.py", line 302, in start self._train_loop(self._sess) File "/home/nvidia/chenboln/4HDR-GAN-master/tensorkit/train.py", line 222, in _train_loop i(sess) File "train.py", line 132, in restore Restore().init(ckpt_dir=log_dir, ckpt_file=cf, optimistic=True).restore(sess) File "/home/nvidia/chenboln/4HDR-GAN-master/tensorkit/restore.py", line 39, in restore if self._restore_vars(sess): File "/home/nvidia/chenboln/4HDR-GAN-master/tensorkit/restore.py", line 58, in _restore_vars return self._optimistic_restore_model(sess) File "/home/nvidia/chenboln/4HDR-GAN-master/tensorkit/restore.py", line 69, in _optimistic_restore_model reader = tf.train.NewCheckpointReader(self.restore_ckpt_file) File "/home/nvidia/anaconda3/envs/pytorch1/lib/python3.7/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 636, in NewCheckpointReader return CheckpointReader(compat.as_bytes(filepattern)) File "/home/nvidia/anaconda3/envs/pytorch1/lib/python3.7/site-packages/tensorflow/python/pywrap_tensorflow_internal.py", line 648, in __init__ this = _pywrap_tensorflow_internal.new_CheckpointReader(filename) tensorflow.python.framework.errors_impl.DataLossError: Unable to open table file ./logs/2025.03.13_16.11.57_56028_unetpps_sphere_sn_lsTP: Failed precondition: logs/2025.03.13_16.11.57_56028_unetpps_sphere_sn_lsTP; Is a directory: perhaps your file is in a different file format and you need to use a different restore operator?
最新发布
03-25
从错误信息来看，这是 TensorFlow 在尝试读取检查点文件时发生的异常 (`DataLossError`)。具体原因是程序无法打开指定路径下的模型权重文件，因为目标位置实际上指向的是一个目录而非有效的 `.ckpt` 文件。 ### 错误原因分析 1. **路径问题**：提供的日志目录路径 `./logs/2025.03.13_16.11.57_56028_unetpps_sphere_sn_lsTP` 实际上是一个文件夹，并未包含具体的 checkpoint 文件名（例如 `model.ckpt-xxx`）。 2. **TensorFlow Checkpoint 格式变化**： - 如果你是基于较新版本的 TensorFlow (如 v2.x)，checkpoint 可能已经采用新的 SavedModel 或 HDF5 格式存储，而旧版 API 默认期望传统的二进制格式。 - 若使用的训练脚本是为老版本 TensorFlow 编写的，则需要确认生成的 checkpoint 是否兼容。 3. **乐观恢复机制失败**：在 `_optimistic_restore_model` 方法里通过 `tf.train.NewCheckpointReader` 加载参数失败了，提示可能是由于数据丢失、损坏或者根本不存在相应变量集合所引起。 --- ### 解决方案 #### 步骤一：验证是否存在合法的 .ckpt 文件 首先进入对应的 log 目录查看是否有实际保存下来的权重文件。一般会看到类似下面这样的结构： ``` /logs/2025.03.13_16.11.57_56028_unetpps_sphere_sn_lsTP/ ├── checkpoints ├── model.ckpt.data-00000-of-00001 ├── model.ckpt.index └── model.ckpt.meta ``` 如果上述内容存在，请将完整前缀传递给加载函数，即形如 `checkpoints/model.ckpt`。 #### 步骤二：更新代码适配正确的路径传入方式 假设我们已知确切的 ckpt 路径名称为 `checkpoints/model.ckpt`，那么可以修改相关部分如下： ```python class Restore: def init(self, ckpt_dir=None, ckpt_file=None, optimistic=False): # 确保仅使用具体ckpt地址 assert ckpt_file.startswith('checkpoints/') self.restore_ckpt_file = os.path.join(ckpt_dir, ckpt_file) def _optimistic_restore_model(self, sess): try: reader = tf.compat.v1.train.NewCheckpointReader(self.restore_ckpt_file) # 兼容TF高版本 saved_shapes = reader.get_variable_to_shape_map() var_names = sorted([(var.name, var.dtype.name) for var in tf.global_variables() if not var.name.startswith("Adam")]) vars_to_restore = {} for vn_name, dtype in var_names: stripped_name = vn_name.split(':')[0] if stripped_name in saved_shapes: print(f"Matched variable {stripped_name}") vars_to_restore[stripped_name] = stripped_name saver = tf.train.Saver(vars_to_restore) saver.restore(sess, self.restore_ckpt_file) return True except Exception as e: logging.error(e) return False ``` 此外，在初始化实例时候也需要保证传递准确路径： ```python Restore().init(log_dir='./logs/...', ckpt_file='checkpoints/model.ckpt', optimistic=True).restore(sess) ``` #### 步骤三：升级至最新框架特性 如果是迁移项目到 Tensorflow 新版环境中运行，建议逐步替换掉原始低级操作接口转而利用更高层封装工具完成任务，比如借助 keras.models.load_weights 方法等直接作用于构建完毕网络对象之上更为便捷高效。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mtj66

看心情

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值