解决tfrecored制作报错

最新推荐文章于 2024-06-02 10:02:25 发布

roxxo

最新推荐文章于 2024-06-02 10:02:25 发布

阅读量180

点赞数

分类专栏： Tensorflow

本文链接：https://blog.youkuaiyun.com/roxxo/article/details/109162667

版权

Tensorflow 专栏收录该内容

26 篇文章

订阅专栏

本文介绍了解决TensorFlowRecorder在使用过程中遇到的CSV格式问题。通过调整CSV文件的列名并添加必要的'split'字段，成功解决了AttributeError异常，并使数据能够正确地被工具读取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

谷歌近期开源了 TensorFlow Recorder

尝试使用报错最末一行

AttributeError: DataFrame does not contain column split listed in schema

参看 https://github.com/google/tensorflow-recorder

Default Schema

This format looks like a Pandas DataFrame or CSV formatted as:

split	image_uri	label
TRAIN	gs://my/bucket/image1.jpg	cat

where:

split can take on the values TRAIN, VALIDATION, and TEST
image_uri specifies a local or Google Cloud Storage location for the image file.
label can be either a text based label that will be integerized or integer

于是在 csv中增加split 和内容，name改为 image_url

再次执行，可正常制作

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

roxxo

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Tensorflow-制作与使用tfrecord数据集

Site1997的博客

03-31

3544

引言本次博文目的是记录下tfrecord数据集的制作与使用方式。（踩了无数坑OTZ）这里贴上一个数据读取的官方教程：Tensorflow导入数据以及使用数据接下来举个例子说明怎么用tfrecord，假设我要做个图片分类的任务。首先，我这里有一个txt文件，包含着所有图片的路径以及它们的标签。还有一个包含许多图片的文件夹。类似下图这样：准备好了数据后，就可以制...

使用tensorflow自带model训练SSD并且在手机上运行

stesha_chen的博客

02-11

2923

整个流程稍微有点长，但是如果走通后再来新的任务就很简单了。大概分为以下几个步骤：训练SSD 转tflite 在android应用中运行训练SSD 1.代码下载 https://github.com/tensorflow/models.git 我们会使用ROOT/research/object_detection下的代码来训练SSD。 2.环境配置除了tensorflow外还...

参与评论您还未登录，请先登录后发表或查看评论

推荐使用TFRecorder - 简化数据转换与存储的利器

最新发布

gitblog_00055的博客

06-02

635

TensorFlow Recorder 项目教程

gitblog_00071的博客

06-02

400

TensorFlow Recorder 项目教程 tensorflow-recorder TFRecorder makes it easy to create TensorFlow records (TFRecords) from Pandas DataFrames and CSVs files containing i...

[Tensorflow2.X][转载]tfrecored基础API使用

FL1623863129的博客

04-01

260

import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np import sklearn import pandas as pd import os import sys import time import tensorflow as tf #tf favorite_books = [name.en...

voc转tfrecord的几个问题

qq_36501182的博客

05-24

957

使用https://my.oschina.net/u/876354/blog/1927351的方法制作了数据集，途中遇到几个问题。问题1： python SSD-Tensorflow-master/tf_convert_data.py --dataset_name=pascalvoc --dataset_dir=./voc2007 --output_name=voc_2007_train ...

TensorFlow TFRecords简介

qq_40985985的博客

12-14

627

这篇博客将介绍TensorFlow的TFRecords，提供有关TFRecords的所有信息的一应俱全的介绍。从如何构建基本TFRecords到用于训练 SRGAN 和 ESRGAN 模型的高级TFRecords的所有内容。包括什么是TFRecords，如何序列化，反序列化数据，以及如何使用TFRecords预处理和序列化像div2k这样的大型数据集，如何使用TFRecords及TensorFlow训练深度神经网络。

tfrecord

qq_28234239的博客

12-05

156

制作tfrecord 的关键代码 # -*- coding: utf-8 -*- import tensorflow as tf import os from PIL import Image from functions import * writer = tf.python_io.TFRecordWriter("/home/yuejian/Desktop/1234567.tfrecords"...

TensorFlow之tfrecords文件详细教程

热门推荐

MIss-Y的博客

10-23

1万+

【训练加速部署及实践】

weixin_60430276的博客

05-12

508

使用要求申请加速产品私有镜像仓库临时登录指令，获取 password。 TI-ACC 训练加速仅支持以下操作系统、Python版本、设备类型、框架版本及镜像版本：操作系统：Linux Python 版本：Python 3.6 设备类型：GPU 实例，并支持 CUDA 10.0、10.1、10.2、11.1 框架版本：Tensorflow 1.15，PyTorch 1.7.1、1.8.1、1.9.0 镜像版本：框架类型仓库地址镜像版本 PyTo.

深度学习的数据格式转换（mobilenet+ssd,centernet）

sinat_37114941的博客

01-08

2379

深度学习的数据格式转换（mobilenet+ssd,centernet）初步生成VOC2012数据集 1、数据标注有目标的图片标注应用labelImg对图片进行标注下载链接：https://github.com/tzutalin/labelImg 背景图片的标注应用以下代码，自动生成无标注目标的xml文件参考链接：https://www.jianshu.com/p/5b2254fdf8...

解决 cuda10 环境上 tf.test.is_gpu_available() 为false

roxxo的博客

03-27

1万+

.升级Tensorflow 1.15 以及 cuda10,进行分布式训练，发现gpu 内存都只占用 145M，开始测试单个卡也是145M，使用如下简单测试下gpu是否能调用 import tensorflow as tf import os os.environ['CUDA_VISIBLE_DEVICES'] = "1" print(tf.test.is_gpu_available())...

解决TF训练提示 Not using XLA:CPU for cluster

roxxo的博客

05-19

9048

训练时一直未太关注该搞错，启动训练后报警提示如下，了解了下XLA的设置，对性能有一定提升，于是尝试解决 W tensorflow/compiler/jit/mark_for_compilation_pass.cc:1412] (One-time warning): Not using XLA:CPU for cluster because envvar TF_XLA_FLAGS=--tf_xla_cpu_global_jit was not set. If you want XLA:CPU, ei..

解决 AttributeError: module 'tensorflow.python.ops.variable_scope' has no attribute '_VARSCOPE_KEY'

roxxo的博客

02-22

8038

在学习Knifey-Spoony数据集上做分类的神经网络。它将Inception模型得到的transfer-values作为输入，运行报如下两个错一 /usr/local/lib/python3.5/dist-packages/prettytensor/scopes.py in var_and_name_scope(names) 53 full_name = va...

解决 ImportError: libcublas.so.10.0:

roxxo的博客

05-22

5080

升级到cuda10 环境 1.在jupyter terminal 中进入python import tensorflow as tf 没问题，在ipython中执行报 ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory 查看对应的/usr/lo...

Tensorflow 中earlystopping的使用

roxxo的博客

05-07

3616

参考该文章https://blog.youkuaiyun.com/zongza/article/details/85017351 报错 Key signal_early_stopping/STOP not found in checkpoint RestoreV2[dtypes=[DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, DT_FLOAT, ..., DT_F...

解决分布式训练报terminate called after throwing an instance of 'std::length_error'

roxxo的博客

04-08

3268

在进行分布式进行训练， INFO:tensorflow:Reduce to /replica:0/task:0/device:CPU:0 then broadcast to ('/replica:0/task:0/device:CPU:0',). I0408 04:01:41.507015 140706188736256 cross_device_ops.py:427] Reduce to /r...

解决Docker + Tensorflow serving启动服务时占用所有GPU

roxxo的博客

05-29

2477

Docker + Tensorflow serving启动服务官网命令如下 docker run -p 8503:8501 -t $USER/resnet_serving 后会将所有占用剩余的GPU ，但实际只需使用一个启动命令中加入红色部分 docker run -p 8503:8501 --name tfserving-resnet -e NVIDIA_VISIBL...

解决module 'dlib' has no attribute 'load_rgb_image'

roxxo的博客

02-14

2394

解决 ImportError: Extension horovod.tensorflow has not been built

roxxo的博客

04-21

2218

在使用horovod autotune 功能，提示 horovodrun: error: unrecognized arguments: --autotune --autotune-log-file horovod -h 查看确实没有autotune horovod -v查看版本 0.16.1 于是按照相关命令 HOROVOD_GPU_ALLREDUCE=...