TFRecords 拆分

ImageNet ILSVRC2012 数据集:3种高效下载方案与144GB数据预处理脚本 本文详细介绍了ImageNet ILSVRC2012数据集的3种高效下载方案与144GB数据预处理脚本。针对下载速度慢、存储空间不足等常见问题,提供了官方渠道、第三方镜像源和分布式传输三种解决方案,并分享了自动化预处理Shell脚本,包括并行解压优化和验证集标签映射自动化,大幅提升数据处理效率。 阅读详情

背景:由于之前已经生成了训练数据的tfrecords,需要对已经生成的tfrecords根据类别去按比例拆分。或者将一个大的tfrecors拆分成几个小的tfrecords。

参考:https://stackoverflow.com/questions/54519309/split-tfrecords-file-into-many-tfrecords-files?rq=1

1. 将大的tfrecords拆分成小的tfrecords可以参考上述链接

2. 根据类别去按比例拆分

由于已经生成了tfrecords,目前考虑的两种解决办法。要么直接在生成的时候去按比例重新生成tfrecords数据。要么去读取tfrecortds去解析并判断类别按比例重新写。此处也只是为了练习tfrecords相关的方法,该方法也不是最高效的处理手段。只是用作记录。

def split_tfrecord_by_class(tfrecord_path):
    with tf.Graph().as_default(), tf.Session() as sess:
        ds = tf.data.TFRecordDataset(tfrecord_path)
        ds_iterator = ds.make_one_shot_iterator()
        next_element = ds_iterator.get_next()
        total_cnt =0
        train_cnt_A = 0
        train_cnt_B = 0
        val_cnt_A = 0
        val_cnt_B = 0
        train_path = '/train.tfrecords'
        val_path = '/val.tfrecords'
        train_writer = tf.python_io.TFRecordWriter(train_path)
        val_writer = tf.python_io.TFRecordWriter(val_path)
        while True:
            try:
                parsed_example =tf.parse_single_example(next_element,
                                        features={
                                               'label': tf.FixedLenFeature([], tf.int64),
                                               'img_raw': tf.FixedLenFeature([], tf.string),
                                           })
                
                label = tf.cast(parsed_example['label'], tf.int32)
                label =sess.run([label])
                record = sess.run(next_element)
                if len(label)==1:
                    if label[0] == 1 and train_cnt_white < 6:  
                        
                        train_writer.write(record)
                        train_cnt_A += 1
                        total_cnt+=1
                    elif label[0] == 1 and train_cnt_white >=6:
                        
                        val_writer.write(record)
                        val_cnt_A += 1
                        total_cnt += 1
                        if val_cnt_A == 2:
                            train_cnt_A = 0
                            val_cnt_A = 0
                    if label[0] == 2 and train_cnt_yellow < 6:  
                       
                        train_writer.write(record)
                        train_cnt_B += 1
                        total_cnt += 1
                    elif label[0] == 2 and train_cnt_yellow >=6:
                        
                        val_writer.write(record)
                        val_cnt_yellow += 1
                        total_cnt += 1
                        if val_cnt_B == 2:
                            train_cnt_B = 0
                            val_cnt_B = 0
                print("already preprocessing total {} lanes.".format(total_cnt))
            except tf.errors.OutOfRangeError:
                train_writer.close()
                val_writer.close()
                break

上述代码:

第一步:ds =tf.data.TFRecordDataset(path)方法可以用来读取已经生成好的tfrecords文件。官方链接:https://www.tensorflow.org/tutorials/load_data/tf_records

第二步:ds_iterator =ds.make_one_shot_iterator()构建数据集的一个迭代器,每次可以获取数据集中的一个数据。

第三步:element = ds_iterator.get_next()获取下一个数据集中的数据

第四步:生成writer = tf.python_io.TFRecordWriter(path)实例

第五步:parse获取的example实例通过tf.parse_single_example(example,features)方法

第六步:从解析的example实例中获取相应的值,这时候取出的值是tensor。如果想获取tensor的value 需要在Session中run一下。

 

 

 

 

Colab Pro vs 免费版深度体验:每月70块到底值不值?附高效使用与防断连技巧 本文深度对比了Colab Pro与免费版的差异,重点分析了GPU资源分配、运行稳定性及成本效益。通过实测数据展示Pro版在T4/P100显卡优先分配、内存上限和连续运行时间上的优势,并提供高效使用与防断连技巧,帮助用户判断每月70元的升级是否值得。 阅读详情

相关推荐

华为云ModelArts实战:5步搞定深度学习模型训练(附OBS上传避坑指南)

本文详细介绍了如何在华为云ModelArts平台上快速完成深度学习模型训练,包括环境准备、OBS数据存储配置、Notebook使用技巧、大规模数据训练优化及成本控制。特别提供了OBS上传的避坑指南,帮助开发者高效利用云端资源进行AI模型开发。

weixin_29290947的博客 255

图像分类项目新手升级版(一):制作多个TFRecord数据集

自定义数据集、模型,用QT、python脚本模式调用tensorflow编译好的pb模型的图像分类项目 第一步:本文 第二步:读取自定义的TFRecord数据集,训练卷积网络并保存pb模型 第三步:opencv读取自定义的pb模型,自定义softmax,argmax函数输出图像分类结果 流程图 参考如下: Windows下用c++来调用tensorflow训练好的模型 flower_photos...

LTyyCFY的博客 829

OpenMAIC开源AI平台:模块化学习与分布式训练实战

机器学习平台通过微服务架构和容器化技术实现资源弹性调度,为AI模型开发提供标准化环境。OpenMAIC作为开源学习平台,采用Spring Cloud+Docker技术栈,将数据预处理、模型训练等流程封装为可视化模块,支持Jupyter Notebook代码级调试。其核心价值在于降低学习门槛,提供从图像分类到文本生成的20+实战案例,特别通过动态Docker编排解决环境依赖问题。平台内置的分布式训练策略如MirroredStrategy可实现多GPU并行计算,配合知识蒸馏等模型压缩技术,显著提升工业部署效率。

weixin_30824479的博客 378

tf.data.TFRecordDataset的使用

pass

haoshan4783的博客 679

利用JAVA对STDF文件进行分析.pdf

专业java解析stdf的论文,附源码,供学习参考使用,可以编写demo程序进行测试 专业分析工具及测试程序

AWS入门实践-如何在AWS云上创建一个内外网隔离的生产环境

在 AWS 上建立一个内外网分离的生产环境,可以减少应用服务的暴露面,有效的保证你的应用服务器的安全。通常我们会将web应用放在外网的子网内,数据库服务器等放在内网的子网。我们将按照下图来部署动手实践环境,实现在public subnet的EC2虚拟机可以直接通过互联网可以访问,在Private subnet的EC2虚拟机不能通过互联网直接访问,但是却可以在内部来访问互联网安装应用等等。

weixin_39108752的博客 2998

关于,recordreader,recordwriter,分组,分块

recordreader,recordwriter方法都是对每一个key,value进行的,只不过一个是读,一个是写; 两者都要从format开始,分别是inputformat和outputformat,对于recordreader是从分片里读取的数据,分片也有格式,当然也可以重写,因为有个抽象类inputsplit,输入内容也是通过文件流读取,这个流实际上也是可以重写和重定向的,所以数据来源,

konstantin的博客 480

别再手动算重量了!用C++给UG/NX写个自动计算零件质量与质心的插件(附完整源码)

本文详细介绍了如何使用C++为UG/NX开发智能质量分析插件,实现零件质量与质心的自动计算。通过结合NXOpen和UF_MODL API,设计高效的数据结构和批量处理机制,大幅提升机械设计效率。文章包含完整源码和实用技巧,帮助工程师告别手动计算,适用于复杂装配体的自动化工程计算。

weixin_30247307的博客 138

tensorflow分类任务——TFRecord制作自己的数据集

打乱数组 x, y = imageNumpyData() state = np.random.get_state() np.random.shuffle(x) np.random.set_state(state) np.random.shuffle(y) # 打乱之后的x,y作为训练数据 x = np.array(x) y = np.arr...

北国觅梦 4264

从解压到编译:手把手带你用TeXstudio搞定第一篇ACM LaTeX论文

本文详细指导如何使用TeXstudio从解压ACM LaTeX模板到成功编译第一篇学术论文的全过程。涵盖环境准备、模板配置、TeXstudio设置及常见问题排查,特别针对ACM会议论文格式要求,帮助学术新人快速掌握LaTeX写作技巧。

weixin_30655569的博客 256

WPF实战项目十七(客户端):数据等待加载弹框动画

1、在Common文件夹下新建文件夹Events,新建扩展类UpdateLoadingEvent。2、新建一个静态扩展类DialogExtensions来编写注册和推送等待消息弹框方法。3、在ViewModel中添加实现类NavigationViewModel。5、在View文件夹下新建用户控件ProgressView.xmal。4、在主窗体MainView.xmal中给弹窗界面命名。6、在MainView.xmal.cs中注册消息。

yigu4011的博客 2350

解决 MobileNet 项目常见问题的终极指南:从安装到训练的完整解决方案

MobileNet 是一个基于 TensorFlow 构建的轻量级深度学习模型项目,广泛应用于移动设备和嵌入式系统中的图像识别任务。本文将针对新手用户在使用 MobileNet 项目时可能遇到的各类问题,提供简单易懂的解决方案和操作指南,帮助你顺利完成模型的训练与部署。 ## 一、环境配置问题:快速解决安装难题 🛠️ ### 1.1 TensorFlow 版本不兼容怎么办? MobileNe

gitblog_09349的博客 576

视觉Transformer实战 | Token-to-Token Vision Transformer(T2T-ViT)详解与实现

Vision Transformer (ViT) 在计算机视觉领域取得了巨大成功,但标准的 ViT 存在一些局限性,如需要大规模预训练数据、对局部结构建模不足等。Token-to-Token ViT (T2T-ViT) 通过引入渐进式分词过程改进了原始 ViT,使其能够在中小型数据集上取得更好的性能。本节将详细介绍 T2T-ViT 的技术原理,并使用 PyTorch 从零开始实现 T2T-ViT。

盼小辉丶的博客 4万+

如何高效构建大规模图像数据集:practical-ml-vision-book TFRecords+Dataflow流水线完整教程

本教程基于开源项目 practical-ml-vision-book(《Practical Machine Learning for Computer Vision》配套代码库),手把手教你使用 **TFRecords + Apache Beam + Dataflow 流水线**高效构建大规模图像数据集。只需一份 CSV 清单和一个标签文件,即可在云端无服务器环境下并行完成「读取图像 → 编解码

gitblog_00018的博客 896

uni-app:实现APP设置手机闹钟+取消闹钟+响铃重复/文字等,帮用户设置好闹钟并备注文本,uni-app设置安卓系统闹钟和苹果ios系统闹钟(uniapp调用手机上的闹钟,详细示例代码demo)

uniapp设置安卓和iOS闹钟的插件,uni-app设置安卓系统闹钟,uniapp设置苹果ios系统闹钟,uniapp设置定时闹铃的完整解决方案,UniApp设置手机闹钟,uniApp如何设置手机闹铃,uniapp设置闹钟,设置闹钟提醒,uni-app设置安卓系统闹钟_通过uniapp设置原声闹钟,调用android系统闹钟,如何在App中启动系统闹钟,uniapp如何取消闹钟,通过调用ios的原生接口来设置手机闹钟,uni-app 调用手机闹钟功能,uniap调用ios系统闹钟,uniapp调用手机上的

✅ 精选推荐文章 4235

图神经网络实战(2)——图论基础

图论 (Graph theory) 是数学的一个基本分支,涉及对图研究。图是复杂数据结构的可视化表示,有助于理解不同实体之间的关系。图论提供了大量建模和分析现实问题的工具,如交通系统、社交网络和互联网等。在本节中,将介绍图论的基本原理,主要涉及三个方面:图属性、图概念和图算法。

盼小辉丶的博客 1万+

Tensorflow分批量读取tfrecords

Tensorflow分批量读取tfrecords

jacke121的专栏 5818

MFC实现简单UDP通信(附完整源码)

MFC实现简单UDP通信(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1113

TensorFlow学习笔记——训练神经网络模型的第一步:构建自己的图片数据集TFRecords

0. 导读 相信很多深度学习的初学者都看着大神教程搭过很多的CNN、RNN、VGG等网络模型,训练模型时用的基本都是mnist、fashion-mnist、cifar10等基准数据集,当面对自己实验室的或者自己网上爬下来的数据集时就会犯难,根本不知道怎么调整算法模型去读取我们的本地数据集。问题不大,这个对于每一个深度学习工作者都是漫漫探索路上的必经之路。以下我将分享自己的学习心得以及完整代码实现,为曾和我一样正犯难的小伙伴提供一些参考。 代码部分已验证无误,并做了完整注释,请放心食用! 关于读取数据,T

weixin_40730615的博客 918

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

3天出图!StyleGAN零基础训练全攻略:从环境搭建到人脸生成

你还在为AI图像生成的复杂配置头疼吗?训练动辄数周却效果不佳?本文将带你用StyleGAN从0到1完成高质量人脸生成,掌握行业级GAN训练技巧,3天即可生成专业级图像。读完你将获得: - 零基础环境搭建指南(附避坑清单) - 3步数据集预处理流程 - 训练参数调优经验(含GPU资源配置表) - 实战案例:1024×1024人脸生成全记录 [![StyleGAN生成效果示例](https://ra...

gitblog_01044的博客 391

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

tensorflow2.x(一) 显存不够或内存不够要怎么办?

很多教程说用更小的样本数、更少的batchsize等等。。。其实都是治标不治本。 题主首先遇到的问题是内存不够,

RicardoOzZ的博客 6540

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

用Python+TensorFlow搭建垃圾分类AI识别系统(附完整代码)

本文详细介绍了如何使用Python和TensorFlow构建高精度垃圾分类AI识别系统,涵盖从数据准备、模型训练到系统部署的全流程。通过改进AlexNet架构和优化训练策略,系统在6类垃圾识别中达到98%的准确率,并提供完整的代码实现和性能优化方案,适合开发者快速实现智能垃圾分类应用。

weixin_29243279的博客 248

transformer xl---vocabulary

data_dir 存放原始数据, def main(unused_argv): del unused_argv # Unused corpus = get_lm_corpus(FLAGS.data_dir, FLAGS.dataset) # save_dir = os.path.join(FLAGS.data_dir, "tfrecords") if not...

ljz2016的博客 539

深度学习入门笔记(十二):深度学习数据读取

专栏——深度学习入门笔记 声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献。 2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。 3)博主才疏学浅,文中如有不当之处,请各位指出,共同进步,谢谢。 4)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点...

种树最好的时间是10年前,其次是现在!!! 5645

终极TensorFlow模板应用架构解析:深入理解项目核心组件与设计模式

TensorFlow模板应用(tensorflow_template_application)是一个面向深度学习的完整解决方案,提供了从数据处理到模型部署的全流程框架。本文将深入剖析其架构设计、核心组件及最佳实践,帮助开发者快速掌握深度学习项目的构建方法。 ## 项目架构总览 TensorFlow模板应用采用模块化设计,将深度学习流程拆分为数据处理、模型构建、训练部署等独立模块,各组件通过标准

gitblog_00937的博客 352

格式转换不求人:Scalabel 与 COCO、KITTI、Waymo、NuScenes 互转教程

在自动驾驶和计算机视觉项目中,最让人头疼的往往不是算法本身,而是**数据标注格式转换**。同一个标注结果,COCO、KITTI、Waymo、NuScenes 各有一套自己的 JSON、TXT 或 TFRecord 规范,手动改写既费时又容易出错。Scalabel 是一款基于 Web 的可视化数据标注工具,内置了一整套双向格式转换脚本,可以帮你轻松搞定主流数据集格式之间的互转。本文带来一份完整的 S

gitblog_00733的博客 436
上一篇: TypeError: 'module' object is not callable
下一篇: tensorflow中tf.train.string_input_producer()方法
coding_zhang
博客等级 码龄10年 9粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值