Tensorflow 训练自己的数据集（一）（数据直接导入到内存）

最新推荐文章于 2025-05-04 11:50:49 发布
置顶 最新推荐文章于 2025-05-04 11:50:49 发布
阅读量2w 收藏 46
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 深度学习与计算机视觉 文章标签： tensorflow 训练模型 自制数据集 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Best_Coder/article/details/70141075

制作自己的训练集

下图是我们数据的存放格式，在data目录下有验证集与测试集分别对应iris_test， iris_train
这里写图片描述

为了向伟大的MNIST致敬，我们采用的数据名称格式和MNIST类似

classification_index.jpg

这里写图片描述

图像的index都是5的整数倍是因为我们选择测试集的原则是每5个样本，选择一个样本作为测试集，其余的作为训练集和验证集

生成这样数据的过程相对简单，如果有需要python代码的，可以给我发邮件，或者在我的github下载

至此，我们的训练集，测试集，验证集就生成成功了，之所以我们的文件夹只有训练集和测试集是因为我们在后续的训练过程中，会在训练集中分出一部分作为验证集，所以两者暂时合称为训练集

将数据集写入到Tensorflow中

1. 直接写入到队列中

最低0.47元/天 解锁文章

200万优质内容无限畅学
Keras TensorFlow教程：使用自己的数据集进行训练
qq_40985985的博客
06-25 7107
在今天的教程中，您将学习如何开始使用Keras，深度学习和Python。 具体来说，您将学习使用Keras和自己的自定义数据集进行TensorFlow实践，共七个关键步骤： 如何从磁盘加载数据 如何创建训练和测试分组 如何定义Keras模型架构 如何编译和准备您的Keras模型 如何在训练数据上训练模型 如何根据测试数据评估模型 如何使用训练有素的Keras模型进行预测 基于此您还学习了如何实现卷积神经网络，从而使您可以获得比标准的全连接网络更高的准确性。
TensorFlow常见任务训练
qq_35827483的博客
05-28 470
tf.keras.layers.LSTM(50, return_sequences=True, input_shape=[None, 1]), # LSTM层。Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)), # 卷积层。Dense(128, activation='relu'), # 全连接层，128个神经元，激活函数为ReLU。Conv2D(64, (3, 3), activation='relu'), # 卷积层。
使用TensorFlow训练MNIST数据集
ruanjianbu的博客
02-19 2709
这篇教程主要来源于这本书：《21个项目玩转深度学习 基于TensorFlow的实践详解》 在线阅读：http://yuedu.163.com/book_reader/acc0e605a6b948b9983afcf62e297fba_4 当我们学习编程语言时，第一课通常会学习一个简单的 “Hello World” 程序， 而 MNIST 手写字符识别可以算得上是机器学习界的 “Hello World...
使用Tensorflow训练自己的数据
weixin_30306905的博客
01-15 188
训练自己的数据集(以bottle为例)： 1、准备数据 文件夹结构： models ├── images ├── annotations │ ├── xmls │ └── trainval.txt └── bottle ├── train_logs 训练文件夹 └── val_logs 日志文件夹 1)、下载官方预训练模型：https://g...
MATLAB环境下卷积神经网络（CNN）完整实现指南
最新发布
weixin_42315569的博客
05-04 1383
MATLAB深度学习工具箱是为深度学习提供一系列功能的扩展包，它使得在MATLAB环境中进行深度学习研究和应用开发变得更加直观和高效。工具箱中包含了多个组件，为用户从数据处理到模型建立、训练、验证、优化直至部署的整个工作流程提供支持。主要功能包括：数据导入与处理：支持多种格式的数据导入，并且可以利用内置函数进行数据预处理、增强等操作。网络架构设计：提供深度网络设计器，允许用户通过图形化界面或者代码来构建网络结构。训练与部署。
Tensorflow(一)训练自己的数据—制作自己的数据集
weixin_39732260的博客
07-16 3428
1..采集图片 以猫、狗分别采集20张为例子 图片下载地址：已上传，审核中 以下为存放的路径：（使用ubuntu自带screenshot进行截图） 2.制作record形式数据集 简易版本 import os import tensorflow as tf from PIL import Image import matplotlib.pyplot as plt import nu...
【Tensorflow】训练自己的数据集（windows+CPU）
酸梅果茶的博客
04-20 4615
文章目录一、个人申明二、电脑配置三、构建数据集步骤1：准备数据集步骤2：labelimg标注图片步骤3：图片标签统计步骤4：将XML文件转化成CSV文件步骤5：将CSV文件转化成tfrecord文件四、配置训练文件步骤6：配置my_label_map.pbtxt文件步骤7：配置object_detection文件步骤8：配置ssdlite_mobilenet_v2_coco.config模型步骤9...
tensorflow笔记--训练数据集
小蜗Leon的博客
08-26 264
""" Know more, visit my Python tutorial page: https://morvanzhou.github.io/tutorials/ My Youtube Channel: https://www.youtube.com/user/MorvanZhou More information about Dataset: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/docs_src/prog
Tensorflow 训练自己的数据集将数据直接导入到内存
09-20
在介绍如何将数据导入内存之前，我们先来简单看看TensorFlow中的数据导入机制。在TensorFlow中，通常有两种数据导入方式：一种是使用队列来异步地读取数据，另一种是直接将数据转换成numpy数组导入。队列机制可以...
Tensorflow训练的花的数据集
05-23
tensorflow珣丽娜数据集 。
使用YOLOv3模型训练自己的数据集
04-02
使用YOLOv3模型训练自己的数据集，在Ubuntu16.04下面已经能够成功运行，下载使用好了给个好评，O(∩_∩)O谢谢
用于训练自己的数据集的一个项目
11-02
用于训练自己制作的数据集的一个项目。关于如何制作自己的数据集 http://tech.ifeng.com/a/20171014/44715883_0.shtml 盯住梅西：TensorFlow目标检测实战 上面有详细的介绍。
TensorFlow 2.0 快速入门——手把手学会训练模型
WenJGo的博客
09-17 7022
TensorFlow训练你的第一个人工智能模型！！！有源码，有升级，详解释！！！
tensorflow2.0下载mnist数据存放位置
qq_44857828的博客
03-24 2265
window：c/用户/账号/.keras/datasets linux:/home/用户名/.keras/datasets
tensorflow.dataset数据集操作
weixin_67463124的博客
03-12 840
TensorFlow2.0数据集tf.dataset基本操作及生成方法
Tensorflow .image.decode_ 内存释放
kangk_521的博客
06-21 988
写一个遍历文件夹内所有图像的函数，用tensorflow打开图像，crop成batch后在存到本地disk；过程中随着打开图像的增加，代码的运行速度会越来越慢；用内存管理工具看到物理内存会逐渐增加；Debug了一下，应该是代码在decode图像之后并没有释放掉图像内存导致的；在with外添加“tf.reset_default_graph()”即可解决；实例代码如下（最后一行可以完成内存的释放，解决...
Tensorflow中数据集的相关操作
opencv_fjc的博客
02-19 416
！！！在数据集框架中，每一个数据集代表一个数据来源，其数据来源有一下几种：张量，TFRecord文件，文本文件，sharding文件等等。。。 一.数据集Dataset的常用构造方法： （1）从一个tensor中构造数据集：dataset=tf.data.Dataset.from_tensor_slices(tensor) （2）利用硬盘上的文件构建数据集：dataset=tf.date.T...
8、yolov5训练前文件准备（训练自己的数据集）
梦在黎明破晓时的博客
04-24 4158
● 主目录○ paper_data（自己创建一个文件夹，将数据放到这里）■ Annotations（放置我们的.xml文件）■ images（放置图片文件）● Main（会在该文件夹内自动生成 train.txt、val.txt、test.txt 和 trainval.txt 四个文件，存放训练集、验证集、测试集图片的名字）会有如下结构：Annotations文件夹为xml文件，我的文件如下：我images文件位.png格式，官方的为.jpg。
将数据集分为训练集和验证集存放在新的文件夹中
xinneya的博客
11-02 1077
import os import random from PIL import Image file_name = os.listdir('data/widerface/train/images') # file_name是个列表，用来装images目录下的文件名 if not os.path.exists('image'): os.mkdir('image') # 创建一个我们要存放分类好的数据文件夹 s = ['train','val'] for j in s: for i .
TensorFlow如何导入数据集（jpg图片形式）
04-10
<think>嗯，用户想在TensorFlow中导入JPG格式的图片数据集，我得想想怎么回答。首先，我需要回忆一下TensorFlow处理图片数据的常见方法。记得之前学过的，可能用tf.keras.preprocessing.image_dataset_from_directory，或者用tf.data.Dataset来处理自定义的数据流。 用户提到的引用里有几个例子，比如引用[2]和引用[4]提到了加载数据和生成数据集的方法。引用[2]中的代码是通过os.listdir遍历目录，然后分离图片路径和标签，再打乱数据。而引用[4]用了生成txt文件和npy文件来存储路径和标签。不过这些方法可能有些繁琐，现在TensorFlow有没有更简便的方式？ 对了，TensorFlow 2.x推荐使用tf.keras的工具，比如image_dataset_from_directory，可以直接从目录加载图片，自动根据子目录分配标签。这可能适合大部分情况，特别是如果数据已经按照类别分好了文件夹。比如猫狗数据集的例子，每个类别一个子文件夹，这样用起来很方便。这个在引用[1]里提到过，用户可能看过类似的教程。 但有些情况下，用户的数据可能没有按子目录分类，而是用其他方式存储标签，比如txt文件或者csv。这时候可能需要自定义数据加载，用tf.data.Dataset.from_generator或者tf.data.Dataset.list_files，然后解析每个文件路径，加载图片和标签。比如引用[2]中的方法，用os.listdir获取文件列表，然后处理文件名生成标签，再转换为TensorFlow的数据集。 另外，预处理步骤也很重要，比如调整图片大小、归一化像素值等。可能需要用到tf.image模块的函数，或者在生成数据集时用map方法应用预处理函数。引用[3]提到数据预处理包括reshape、缩放等，所以这部分需要详细说明。 用户可能还需要了解如何将数据集划分为训练集、验证集和测试集。可以用image_dataset_from_directory的subset参数，或者用take和skip方法分割数据集。引用[2]和引用[4]中的例子也有涉及数据集的划分。 还要注意性能优化，比如使用缓存和预加载数据，使用prefetch来提高训练效率。这部分可能在教程中容易被忽略，但对实际应用很重要。 总结一下，回答应该分步骤，首先介绍使用内置函数快速导入，然后处理自定义结构的数据集，接着是预处理步骤，最后是数据集划分和性能优化。还要给出示例代码，让用户能直接参考。同时，生成相关问题，比如数据增强、处理不同结构的数据集、性能优化方法等，帮助用户深入理解。</think>在TensorFlow中导入JPG格式图片数据集可通过以下步骤实现，支持自动标签分配和高效数据流处理： ### 一、使用Keras内置方法（适用于标准目录结构） 若数据集按类别分文件夹存储（如猫狗数据集），可直接使用`image_dataset_from_directory`： ```python import tensorflow as tf train_dir = "/path/to/train" # 每个子目录为一个类别 val_dir = "/path/to/val" # 自动推断标签，默认图像大小(256,256) train_dataset = tf.keras.preprocessing.image_dataset_from_directory( train_dir, validation_split=0.2, subset="training", seed=123, image_size=(224, 224), batch_size=32 ) val_dataset = tf.keras.preprocessing.image_dataset_from_directory( train_dir, validation_split=0.2, subset="validation", seed=123, image_size=(224, 224), batch_size=32 ) ``` 此方法会自动将子目录名作为类别标签[^1]。 ### 二、自定义数据管道（适用于非标准结构） 当数据存储在单个目录且标签信息在外部文件时： 1. 创建路径-标签映射 ```python import os import numpy as np def load_file_paths(data_dir, label_file): with open(label_file) as f: lines = f.readlines() file_paths = [os.path.join(data_dir, line.split(',')[0]) for line in lines] labels = [int(line.split(',')[1]) for line in lines] return np.array(file_paths), np.array(labels) paths, labels = load_file_paths('/data/jpg_images', '/data/labels.txt') ``` 2. 构建TF Dataset ```python def decode_img(img_path): img = tf.io.read_file(img_path) img = tf.image.decode_jpeg(img, channels=3) return tf.image.resize(img, [224, 224]) dataset = tf.data.Dataset.from_tensor_slices((paths, labels)) dataset = dataset.map(lambda x,y: (decode_img(x), y), num_parallel_calls=tf.data.AUTOTUNE) ``` ### 三、数据预处理流程 ```python normalization_layer = tf.keras.layers.Rescaling(1./255) augmentation = tf.keras.Sequential([ tf.keras.layers.RandomFlip("horizontal"), tf.keras.layers.RandomRotation(0.1) ]) train_dataset = train_dataset.map( lambda x, y: (augmentation(x, training=True), y), num_parallel_calls=tf.data.AUTOTUNE ).map( lambda x, y: (normalization_layer(x), y), num_parallel_calls=tf.data.AUTOTUNE ).cache().prefetch(buffer_size=tf.data.AUTOTUNE) ``` 此流程实现数据增强与归一化，提升模型泛化能力[^3]。 ### 四、数据集优化技巧 - 内存缓存：`.cache()` - 并行处理：`num_parallel_calls=tf.data.AUTOTUNE` - 预加载：`.prefetch(buffer_size=tf.data.AUTOTUNE)` ### 五、验证数据流 ```python for images, labels in train_dataset.take(1): print(f"图像维度: {images.shape}") print(f"标签维度: {labels.shape}") plt.imshow(images[0].numpy().astype("uint8")) plt.show() ``` 相关问题
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值