TensorFlow通过dataset读入不同长度数据

本文介绍了如何在TensorFlow中使用dataset处理不同长度的数据,特别是在进行RNN训练时。通过generator解决了ValueError问题,同时展示了如何进行数据padding和batch处理。此外,讨论了pair数据的组织方式,并提到了dataset与feature column、estimator结合的优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 背景

dataset是tensorflow支持的一种新的数据读取方式,相对直接feed更加优雅,我个人比较喜欢这种方式。关于具体的使用方式,可以参考这篇文章https://towardsdatascience.com/how-to-use-dataset-in-tensorflow-c758ef9e4428

但是在实际用的过程中,我遇到了一些问题,就是在load变长数据的过程中,会出问题,我的解决方式是通过generator来进行处理。

2. 问题

例如,直接通过tensor来inti dataset

import tensorflow as tf

data=[[1,2,3],[4,5]]
dataset=tf.data.Dataset.from_tensor_slices(data)

ValueError: Argument must be a dense tensor: [[1, 2, 3], [4, 5]] - got shape [2], but wanted [2, 3].

这种时候,会有error,这是因为[[1, 2, 3], [4, 5]]的shape是[2],因为第二个维度没有fix长度,这种情况下,只能手动进行padding。

如果不想直接按照固定长度进行处理,还需要提前进行batch的处理,这个当然也是OK的,早期的tf代码其实很多都是这样做的。

但是,现在tf的dataset支持很多高级功能,并且通过feature column可以简化很多工作,提升效率,还是通过python裸写preprocess,有点原始。

所以,我找了一个处理的办法。

3. 解决办法

解决办法,其实在之前的wiki里面也有,就是通过generator来l

### TensorFlow Flowers 数据集使用方法 Flowers 数据集是一个广泛用于图像分类任务的数据集,在 TensorFlow 中可以通过 `tfds` 轻松加载。此数据集包含五个类别的花的照片,每种类别大约有数百张图片。 #### 加载并预览花朵数据集 为了方便处理和展示 flowers 数据集中的样本,可以利用 TensorFlow Datasets (TFDS) 来下载和准备数据: ```python import tensorflow_datasets as tfds import matplotlib.pyplot as plt # 下载并加载 flowers 数据dataset, info = tfds.load('tf_flowers', with_info=True, as_supervised=True) # 获取训练集 train_data = dataset['train'] # 预览部分样本 fig = plt.figure(figsize=(8, 8)) for i, (image, label) in enumerate(train_data.take(9)): ax = fig.add_subplot(3, 3, i + 1) ax.imshow(image.numpy()) ax.set_title(info.features['label'].names[label]) plt.show() ``` 上述代码展示了如何通过 TFDS 加载 flowers 数据集,并选取前九个样例进行可视化[^1]。 #### 构建简单的卷积神经网络模型 下面定义了一个基础的 CNN 模型架构来对 flowers 数据集执行分类任务: ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense model = Sequential([ Conv2D(filters=32, kernel_size=(3, 3), activation='relu', input_shape=[None, None, 3]), MaxPooling2D(pool_size=(2, 2)), Conv2D(filters=64, kernel_size=(3, 3), activation='relu'), MaxPooling2D(pool_size=(2, 2)), Flatten(), Dense(units=128, activation='relu'), # 输出层对应五种不同类型的花卉类别数 Dense(units=5, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) ``` 该模型结构简单明了,适合初学者理解和实践基于 TensorFlow 的图像分类项目。 #### 训练与评估模型性能 完成模型构建之后,就可以开始训练过程并将测试结果绘制成图表以便观察损失变化趋势: ```python history = model.fit( train_data.batch(32), epochs=10, validation_split=0.2 ) all_losses = history.history['loss'] plt.figure() plt.plot(all_losses) plt.xlabel('Epochs') plt.ylabel('Loss Value') plt.title('Training Loss Over Time') plt.show() ``` 这段脚本不仅实现了模型训练还绘制出了整个训练期间内每次迭代后的平均损失值曲线图[^2]。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值