16、机器学习中图像数据集创建与预处理全解析

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 73平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄26年

关注

原创最新推荐文章于 2026-08-14 13:04:57 发布 73 阅读 AI 写同款· GEO 优化 ›

解码视觉AI：从理论到实践专栏收录该内容

¥69.90 ¥499.90

35篇文章

订阅专栏

超级会员免费看

机器学习中图像数据集创建与预处理全解析

1. 数据集创建与转换

在机器学习项目里，数据的处理与转换是至关重要的步骤。将输入从 CSV 文件转换为 Cloud pub/sub 能够把批处理管道转变为流式管道。在这个过程中，所有中间步骤保持不变，最终生成的分片 TFRecords（这种格式对机器学习十分有利）可作为我们的机器学习数据湖。

1.1 TFRecorder 的使用

若已有 Pandas 或 CSV 文件中的数据，使用 TFRecorder Python 包会极为便捷，它为 Pandas 数据框增添了 tensorflow.to_tfr() 方法。以下是具体代码示例：

import pandas as pd
import tfrecorder
csv_file = './all_data_split.csv'
df = pd.read_csv(csv_file, names=['split', 'image_uri', 'label'])
df.tensorflow.to_tfr(output_dir='gs://BUCKET/data/output/path')

这里假设 CSV 文件中的行格式如下：

valid,gs://BUCKET/img/abc123.jpg,daisy
train,gs://BUCKET/img/def123.jpg,tulip

TFRecorder 会将图像序列化为 TensorFlow Records。若要在 Cloud

了解本专栏

订阅专栏解锁全文

超级会员免费看

收录于

当前文章被以下社区和专栏收录：

标签

#机器学习 # 图像数据集 # 数据预处理

相关推荐

机器学习数据集全解析：从概念到实战应用

数据集是机器学习与人工智能领域的核心基础，它作为结构化数据集合，为模型训练、验证和测试提供原始素材。其原理在于通过高质量、有代表性的数据样本来反映现实世界的规律，从而让算法能够从中学习并做出准确预测。数据集的技术价值体现在它是所有智能应用的基石，决定了模型性能的上限，尤其在当前AI技术向垂直行业深度渗透的背景下，高质量数据集更是推动技术落地的关键。在应用场景上，无论是经典的计算机视觉任务如目标检测（如COCO数据集），还是自然语言处理中的语言模型训练（如Penn Tree Bank），亦或是工业检测、医疗影

weixin_34302561的博客 434

Python机器学习模型iOS部署：Core ML全流程实战

机器学习模型部署指将训练完成的算法转化为可在目标设备上高效、稳定、合规运行的推理组件。其核心原理是模型格式转换与硬件适配，技术价值在于实现离线低延迟推理、降低功耗并满足应用商店审核要求。典型应用场景包括移动端图像分类、实时姿态识别、工业质检等边缘AI任务。在iPhone平台，由于系统禁止嵌入Python解释器且不支持原生`.pkl`或`.pt`文件，必须通过Apple官方工具链——Core ML——将模型编译为`.mlmodel`格式，再集成至Swift工程。该过程涉及Python端模型精简、coremlt

weixin_32678995的博客 387

OpenCV实战：精选图像数据集与预处理技巧

计算机视觉中的图像数据集是机器学习模型训练的基础，其质量直接影响算法性能。OpenCV作为主流的计算机视觉库，提供了从图像处理到模型部署的全流程支持。理解数据集的格式兼容性和标注规范是关键，常见的挑战包括颜色空间转换（如BGR与RGB）、标注文件解析（如XML/JSON）以及内存优化。通过OpenCV的cv2.imdecode等函数可以实现高效数据加载，而数据增强技术如几何变换和颜色扰动能有效提升模型泛化能力。本文重点解析MNIST、CIFAR-10等经典数据集在OpenCV中的优化使用方法，并分享工业级项

weixin_27207591的博客 254

16、图像数据集创建与预处理全解析

本文全面解析了图像数据集的创建与预处理方法。内容涵盖从批量管道到流式管道的转换、使用 TFRecorder 生成 TFRecord 文件、读取 TensorFlow Records，以及图像预处理的关键步骤，包括形状转换、数据质量提升和模型性能优化。同时，文章介绍了稀疏张量的概念、Keras 预处理层和 TensorFlow 图像模块的应用，并提供了详细的操作步骤和实践建议。通过这些方法，可有效提升机器学习模型的性能和数据处理效率。

kkk56的博客 138

《名人之地：图像数据集深度解析》

在人工智能领域，特别是计算机视觉领域，图像数据集是机器学习算法训练和测试的基础资源。高质量和大规模的图像数据集对于提高图像识别、分类和理解等任务的准确性至关重要。本章将概述图像数据集的基本概念、主要特点以及在数据驱动的AI技术中的作用。图像数据集是一系列经过预处理和标注的图像集合，它们被用来训练和验证图像识别模型。这些数据集可以包含各种类型的图像，如人物、物体、场景等，并且每张图像通常都附带了相关的标签信息，用以描述图像内容。

weixin_42509513的博客 847

深度学习实战：FashionMNIST十分类图像数据集详细解析

FashionMNIST是一个广泛使用的基准测试数据集，它被设计用来替代传统的手写数字识别数据集MNIST。它包含了10种不同类别的服装图像，每张图像由28x28的像素点组成，并被标记为10个类别中的一个，如T-shirt、Trouser、Pullover等。

weixin_29215509的博客 1872

MNIST数据集转PNG图像格式实战指南

MNIST（Modified National Institute of Standards and Technology）数据集是深度学习领域中最经典、最广泛使用的图像识别数据集之一。它包含了70,000张28×28像素的手写数字灰度图像，涵盖0到9共10个数字类别。其中60,000张用于训练，10,000张用于测试。该数据集由Yann LeCun等人整理构建，常用于训练和评估图像分类模型，尤其在卷积神经网络（CNN）的发展中起到了关键作用。

weixin_35903223的博客 1008

TensorFlow中的VGG16网络实例：从图像识别到猫狗分类

深度学习（Deep Learning）是机器学习的一个分支，通过构建多层神经网络，能够学习输入数据的复杂模式。近年来，随着计算能力的提升和数据集的增长，深度学习在图像识别、语音识别、自然语言处理等领域取得了突破性进展。TensorFlow最初由Google Brain团队于2015年开发，并在2019年发布了其2.0版本，进一步加强了其易用性和灵活性。作为一款开源的机器学习框架，TensorFlow广泛应用于研究和生产中，尤其擅长大规模深度学习模型的训练与部署。

weixin_42351520的博客 972

102种花蕊图像分类数据集实战应用

针对嵌入式设备，设计了一个仅2.7M参数的小模型：return x尽管准确率“只有”86.5%，但推理速度高达18ms，适合部署在移动端。模型参数量（百万）Top-1 准确率（验证集）推理延迟（ms）VGG16138.491.3%89ResNet5025.693.7%62自定义CNN2.786.5%183.590.1%155.392.4%22。

weixin_42613360的博客 784

MNIST手写数字图像数据集详解与实战应用

简介：MNIST是机器学习和深度学习领域最经典的入门数据集之一，包含70,000张28×28像素的灰度手写数字图像，广泛用于图像分类、神经网络训练与模型评估。该数据集分为60,000个训练样本和10,000个测试样本，每个图像对应0-9的标签，数据格式以numpy数组存储，便于Python中使用TensorFlow、Keras、PyTorch等框架进行处理。尽管现代模型在MNIST上准确率常超过99%，其挑战性降低，但仍是理解计算机视觉基础、验证新算法思想的重要工具。

weixin_33582089的博客 635

5分钟搞懂深度学习如何革新声源定位：从GCC-PHAT到DNN的实战对比

本文深入对比了深度学习与传统GCC-PHAT方法在声源定位领域的实战表现。通过具体实验数据，展示了DNN模型在强混响、低信噪比等复杂场景下，如何实现定位准确率的显著提升，并探讨了其数据驱动范式带来的鲁棒性优势与工程部署挑战。

3a9bq4r8t2y的博客 223

[STM32]HAL STM32F103 软件I2C读写MPU6050（附DMP库移植）

本文介绍了如何在STM32F103C8T6上通过I2C协议与MPU6050传感器通信并实现DMP功能。首先，使用STM32CubeMX配置项目，设置时钟和I2C接口。然后，编写软件I2C协议的读写函数与MPU6050交互。接着，移植DMP库并进行必要修改，获取加速度计和陀螺仪数据，并将其转换为欧拉角显示在OLED上。最后，利用Keil的逻辑分析仪监测I2C时序。

m0_56841583的博客 2321

OpenCV透视变换实战：5分钟搞定歪斜证件照矫正（附完整代码）

本文详细介绍了如何使用OpenCV的透视变换技术快速矫正歪斜证件照，包含完整的Python代码实现。通过特征检测、坐标计算和矩阵变换三个核心步骤，5分钟内即可将手机拍摄的歪斜图像自动矫正为专业级证件照，大幅提升图像处理效率。

weixin_29094979的博客 481

Star CCM+中衍生零部件下的阈值应用与区域内删除目标网格

同样的在绘制网格结束后，有时出现负体积网格或质量差的网格，为了节约时间成本，可能会选择将负体积的网格或质量差的网格删除。弹出相应的窗口，在窗口中选择相应的区域①，选择标量函数②（此处以网格体积变化为例），选择模型③，设置阈值④，选择No Dispalyer，会根据需求选择显示，最后点击Create⑥完成创建。此处以温度为例，若出现温度异常点，首先在①栏中勾选Function，然后在下面点击⑤Select，在弹出的Function窗口中选择温度场函数，再点击④Identify，查找温度异常网格数量。

2201_75375391的博客 2222

深入解析MTK平台hang_detect机制：从原理到实战调试

本文深入解析了MTK平台hang_detect机制的工作原理与实战调试技巧。作为系统健康监测的核心机制，hang_detect通过多层级监控体系检测应用层和内核层异常，结合Kernel_exception等日志信息快速定位问题。文章详细介绍了典型问题案例、调试方法及预防措施，帮助开发者提升MTK平台系统稳定性调试能力。

purple的博客 1004

【碳排放数据集】全球近实时网格化二氧化碳排放数据集GRACED

WW、forever的博客 146

YOLOv11 热力图可视化全流程：从模型解释到科研论证，让检测结果“有理可看”

无论是科研中需要严谨的模型解释，还是工业里要高效的缺陷定位，这套方法都能让你在“模型黑箱”与“业务需求”之间架起一座可视化的桥梁。别再让模型决策“无据可依”——现在就动手生成你的第一幅热力图，让 YOLOv11 的每一次检测都“有理可看”，用可视化的力量推动你的 AI 研究与落地走向深入！某团队在论文中通过热力图对比，证明其改进的注意力模块可使模型对小目标的关注区域更精准，实验论证说服力提升 50%；工业质检场景下，热力图帮助工程师快速定位模型漏检缺陷的原因——原来是对某类缺陷的特征关注不足。

m0_71589036的博客 677

TGAT Python：图神经网络中的动态图算法

其中，图神经网络中的动态图算法成为了研究的热点之一。在模型的 forward 方法中，通过循环调用 TGATLayer 实例来进行图神经网络的前向传播。最终，模型返回图中节点的表示向量 output，可以用于图分类等任务。TGAT 算法的核心思想是在节点之间建立注意力连接，以捕捉节点在不同时间步之间的关系。TGAT 算法通过引入注意力机制和时间信息，从而有效地对动态图数据进行建模和分析。通过以上 Python 代码，我们可以方便地构建和训练 TGAT 模型，并在图分类任务中应用它。

2301_79366435的博客 1827

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等，可在创建的窗口进行控制

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

上一篇： 65、Entity Framework 异常处理全解析

下一篇： 1、沉浸式学习、教育与教学：概念解析与应用展望

机器学习数据集全解析：从概念到实战应用