深度学习 Day2——T2彩色图片分类

深度学习图像处理04:图像分类模型训练实战——动物分类 本文深入探讨了深度学习在图像分类任务中的应用,以动物分类为例进行了实战演练。我们从数据集的准备和预处理开始,探讨了如何通过调整图像尺寸和应用数据增强技术来提高模型的泛化能力。接着,我们讨论了不同的深度学习模型架构,训练代码中集成了如ResNet和MobileNet等模型,并介绍了如何使用PyTorch框架来训练这些模型。我们通过命令行参数灵活地控制训练过程,允许用户自定义模型训练的各个方面,包括模型的选择、是否使用预训练权重、学习率和批大小等。 阅读详情


前言

本文使用的是最简单的CNN模型- -LeNet-5,采用Tenserflow框架完成彩色图片分类。简单讲述实现代码与执行结果,并浅谈涉及知识点,涉及知识点包括。
关键字:CIFAR-10数据集介绍,CNN网络模型结构,神经网络程序调用顺序,loss、val_loss与accuracy、val_accuracy含义

一、我的环境

  • 电脑系统:Windows 11
  • 语言环境:python 3.8.6
  • 编译器:pycharm
  • 深度学习环境:TensorFlow 2.10.1

二、代码实现与执行结果

1.引入库

import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
import numpy as np
import warnings
warnings.filterwarnings('ignore')  # 忽略一些warning内容,无需打印

2.设置GPU(如果使用的是CPU可以忽略这步)

'''前期工作-设置GPU(如果使用的是CPU可以忽略这步)'''
gpus = tf.config.list_physical_devices("GPU")
if gpus:
    gpu0 = gpus[0]  # 如果有多个GPU,仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  # 设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0], "GPU")

本人电脑无独显,故该步骤被注释,未执行。

3.导入数据

'''前期工作-导入数据'''
(train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data()

4.数据归一化

'''前期工作-数据归一化'''
# 将像素的值标准化至0到1的区间内。
train_images, test_images = train_images / 255.0, test_images / 255.0
print(train_images.shape, test_images.shape, train_labels.shape, test_labels.shape)
'''输出:(50000, 32, 32, 3) (10000, 32, 32, 3) (50000, 1) (10000, 1)'''

5.可视化图片

 '''前期工作-可视化图片'''
class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
plt.figure(figsize=(20, 10))
for i in range(20):
    plt.subplot(5, 4, i + 1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    plt.imshow(train_images[i], cmap=plt.cm.binary)
    plt.xlabel(class_names[train_labels[i][0]])
plt.show()

显示训练集数据前20个,显示结果如下:

7.构建CNN网络模型

'''构建CNN网络模型'''
model = models.Sequential([
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)),  # 卷积层1,卷积核3*3
    layers.MaxPooling2D((2, 2)),  # 池化层1,2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层2,卷积核3*3
    layers.MaxPooling2D((2, 2)),  # 池化层2,2*2采样
    layers.Conv2D(64, (3, 3), activation='relu'),  # 卷积层3,卷积核3*3

    layers.Flatten(),  # Flatten层,连接卷积层与全连接层
    layers.Dense(64, activation='relu'),  # 全连接层,特征进一步提取
    layers.Dense(10)  # 输出层,输出预期结果
])
model.summary()  # 打印网络结构

网络结构结果如下:

8.编译模型

'''编译模型'''
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

9.训练模型

'''训练模型'''
history = model.fit(train_images, train_labels, epochs=10,
                    validation_data=(test_images, test_labels))

训练记录如下:
在这里插入图片描述

10.预测

'''预测'''
plt.imshow(test_images[1])
# 需要加上这句话,否则不显示图片
plt.show()
# 通过模型进行预测得到的是每一个类别的概率,数字越大该图片为该类别的可能性越大
pre = model.predict(test_images)
print(class_names[np.argmax(pre[1])])

以下为测试图第2张图

预测结果为ship

11.模型评估

'''模型评估'''
plt.plot(history.history['accuracy'], label='accuracy')
plt.plot(history.history['val_accuracy'], label='val_accuracy')
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.ylim([0.5, 1])
plt.legend(loc='lower right')
plt.show()

plt.plot(history.history['loss'], label='loss')
plt.plot(history.history['val_loss'], label='val_loss')
plt.xlabel('Epoch')
plt.ylabel('loss')
# plt.ylim([0.5, 1])
plt.legend(loc='lower right')
plt.show()

test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
print(test_loss)
print(test_acc)

以下为画出accuracy和loss的图:

![在这里插入图片描述](https://img-blog.csdnimg.cn/e693e66468754afa8090543bd8d7511f.png)

三、知识点详解

1.CIFAR-10数据集介绍

cifar10.load_data()下载到本地的路径为:/home/your_userName/.keras/datasets
首次运行调用下载数据稍微花一点时间,已经下载后,则会直接加载。
数据网址:https://www.cs.toronto.edu/~kriz/cifar.html
6万张32*32的彩色图片,共10个类,每类6000张图片,其中训练集和测试集的划分如下:
training images: 50000
test images: 10000
训练集被划分为5个batch,每个batch有10000张图片,测试集只有1个batch,也有10000张图片
以下是数据集中的类,以及每个类的10张随机图片:
在这里插入图片描述
这些类是完全互斥的。汽车和卡车之间没有重叠。“汽车”包括轿车、越野车之类的东西。“卡车”只包括大卡车。这两项都不包括皮卡。

2.神经网络程序调用顺序

  1. 选择模型
  2. 构建网络模型
  3. 编译
  4. 训练
  5. 预测
  6. 模型评估

3.CNN网络模型结构

本文网络模型按一下方式构建:在这里插入图片描述
在这里插入图片描述

4.loss、val_loss与accuracy、val_accuracy含义

1、概念
loss:训练集损失值
val_loss:测试集损失值
accuracy:训练集准确率
val_accruacy:测试集准确率
2、之间的关系:以下5种情况可供参考:
train loss 不断下降,test loss不断下降,说明网络仍在学习;(最好的)
train loss 不断下降,test loss趋于不变,说明网络过拟合;(max pool或者正则化)
train loss 趋于不变,test loss不断下降,说明数据集100%有问题;(检查dataset)
train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目;(减少学习率)
train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。(最不好的情况)这种情况,loss在下降,val_loss趋于不变,说明网络过拟合状态。
一般而言,当loss不再下降,趋于稳定时,就差不多收敛了,就意味着训练可以结束了


总结

通过本次的学习,能通过tenserflow框架创建cnn网络模型实现彩色图片分类,并更深入的了解了模型评估的分析方法。

参考链接

loss、val_loss与accuracy、val_accuracy含义:https://blog.youkuaiyun.com/looknm/article/details/126143124

gdb对dwarf调试信息的解析和使用 gdb的对dwarf的调试信息的解析到使用的过程分析 阅读详情

相关推荐

爱快路由(ikuai)多WAN口配置实战:提升网络带宽与稳定性

本文详细解析了爱快路由(ikuai)多WAN口配置的实战技巧,包括双线智能分流、毫秒级故障切换和带宽叠加利用等核心功能。通过七种配置方案和智能QoS策略,帮助企业提升网络带宽与稳定性,实现99.9%以上的高可用性。

weixin_30566063的博客 707

深度学习基础之图像分类

深度学习之图像分类理论基础

m0_55818283的博客 6558

CIC-IDS2017数据集训练和测试

1、数据集预处理 1.1整合数据并剔除脏数据 如上图所示,整个数据集是分开的,想要训练,必须要整合在一起,同时在数据集中存在Nan和Infiniti脏数据(只有第15列和第16列存在)需要剔除: 具体代码如下: ```python importpandasaspd #按行合并多个Dataframe数据 defmergeData(): monday=writeData("data\MachineLearningCVE\Monday-W...

蓝亚之舟的博客 2万+

深度学习(1) ——图像分类

图像分类概述 图像分类实质上就是从给定的类别集合中为图像分配对应标签的任务,当我们输入一张图片,返回一个该图像类别的标签。 限制条件:只能输入单目标图像。 常用数据集:mnist、CIFAR-10、CIFAR-100、ImageNet 图像分类算法 这里介绍四种。 LeNet-5 意义:LeNet-5是最早的卷积神经网络,是其他深度学习模型的基础, 主要用来做手写数字识别。 结构:2个5x5卷积层 + 2个全连接层+ 输出层 输入:32x32 输出:10分类 tensorf

one time one step的博客 8555

人机协作新纪元:AI会抢走IT人的饭碗吗?

产品经理用自然语言描述需求,AI将其转化为技术规格书(准确率已达89%)

821

R语言:基于Spatstat包的单变量和双变量平面Ripley‘s K函数分析

因为网上查找得到的R语言K函数分析的资料很少,Spatstat包的介绍也很少,所以抛砖引玉。本文简单介绍了使用R语言spatstat包的Kest,Kcross(Lcross)和Kinhom方法进行了单变量和双变量平面Ripley's K函数分析的方法及代码,希望有所帮助。

hsdcmax的博客 1万+

深度学习 Day13——P2彩色图片分类

关键字: torch.nn常用网络层Conv2d、Linear和MaxPool2d详解,torch.nn网络训练相关函数optimizer.zero_grad()、loss.backward()、optimizer.step()详解, opencv、matplotlib、pillow和pytorch读取数据的通道顺序。

LittleRuby的博客 1519

Isaac Lab强化学习实战:用SO-ARM101机械臂实现抓取任务(附B站视频教程)

本文详细介绍了如何使用Isaac Lab强化学习框架,在SO-ARM101机械臂上实现抓取任务的完整实战流程。内容涵盖从环境搭建、奖励函数设计、训练调参到模型部署的各个环节,并分享了Sim-to-Real迁移的关键技巧,旨在帮助开发者高效完成机器人强化学习项目。

weixin_29070721的博客 1106

深度学习之图像分类

第一篇优快云文章,写的不好,还请各位大佬指正。万事开头难,千里之行始于足下! 1.什么是图像分类 图像分类,核心是从给定的分类集合中给图像分配一个标签的任务。实际上,这意味着我们的任务是分析一个输入图像并返回一个将图像分类的标签。标签总是来自预定义的可能类别集。 示例:我们假定一个可能的类别集categories = {dog, cat, eagle},之后我们提供一张图片(图1)给分类系统:...

kejie5397的博客 3万+

Python 爬虫实战:拼多多商品评论情感分析(含词云生成与差评预警)

在电商行业竞争日益激烈的当下,商家对商品评论的分析需求愈发迫切。通过 Python 爬虫收集拼多多商品评论,并结合情感分析、词云可视化及差评预警技术,商家可精准洞察消费者反馈,优化商品与服务。本文将深度剖析从爬虫搭建到数据挖掘的关键环节,助力读者构建全流程电商评论分析系统。

yansideyucsdn的博客 1453

人工智能在慢病管理中的具体应用全集:从技术落地到场景创新

这一成果的取得,得益于 AI 对居民血压数据的实时监测和分析,以及及时的干预措施。据统计,医疗支出下降了 18%,这主要是由于 AI 慢病管理系统实现了对慢病患者的早筛早诊早治,减少了并发症的发生,降低了医疗资源的浪费,从而减轻了患者和社会的医疗负担。医院信息系统(HIS)、电子病历(EMR)、区域卫生平台、可穿戴设备(如三诺血糖仪、华为手环)、第三方健康APP以及体检中心的数据往往采用不同的数据标准和格式(如HL7、FHIR、JSON、CSV等),且存储在相互隔离的系统中,形成典型的数据孤岛。

AllenLV的博客 2096

pix2pix gan_用python构建pix2pix gan

pix2pix ganThere are times that we want to to transform an image into another style. Let’s say we have a fine collection of sketches. Our daily work is to color these black and white images. 有时候,我们希望将...

weixin_26756255的博客 602

duilib入门基础一 容器之 BOX、VBOX、HBOX布局及其子控件align排列方式

序 容器 duilib有以下主要布局容器 Box(自由布局容器) VBox(垂直布局容器) HBox(水平布局容器) TabBox(多标签布局容器) TileBox(格子布局容器) ChildBox(子布局容器) ScrollableBox(可滚动容器) 一、Box容器布局 Box容器及其扩展VBox HBox是其中最常用的容器。 相对Box来说,HBox, VBox更好理解些 1.1 VBox HBox VBox下的各个控件垂...

目前打算换一个工作,有招聘windows c++方向的也欢迎联系,北京、济南 最好 3085

Python基于深度学习的图像分类

本文探讨了基于深度学习的图像分类方法,主要对比了简单卷积网络、ResNet和SE-ResNet三种模型。实验使用30,000张训练图片和5,000张测试图片,通过GPU加速训练。研究发现,简单卷积网络准确率约82%,而ResNet系列表现更优。通过数据增强、学习率动态调整等技术有效缓解了过拟合问题。其中ResNet34在参数优化后表现最佳,验证了残差学习模块的有效性。研究结果为图像分类任务提供了实用的技术方案和性能基准。

毕业作品网站 9926

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

深度学习图片分类实战学习

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码

mczhao0502的博客 5370

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

图片分类任务基础知识总结

图像识别基础知识

shiannayan的博客 1734

深度学习中的图像分类介绍

图像分类是计算机视觉领域中的一个基本问题,它的目标是将图像分为不同的类别。在过去的几十年中,许多传统的机器学习方法已被开发用于图像分类,但随着深度学习技术的发展,深度神经网络已成为最先进的图像分类方法。

百年孤独百年的博客 2825

【深度学习实战—2】:基于Keras的cifar10图像分类(非常详细、代码开源)

  深度学习的”hello world“(【深度学习实战1】:基于Keras的手写数字识别(非常详细、代码开源))已经更新完了,会了手写数字识别就说明一只脚已经踏进了深度学习的大门!   今天博主带来第二个实战内容:基于Keras的cifar10图像分类。全是干货,文末附完整代码! 一、准备工作 设备\库 型号\版本 显卡 GTX1650 驱动程序版本 457.49 tensorflow-gpu版本 2.4.0 keras版本 2.4.3 Python版本 3.7.3 二

王乐予的博客 1万+

动手学深度学习——图像分类数据集(代码详解)

Fashion-MNIST中包含的10个类别,分别为t-shirt(T恤)、trouser(裤子)、pullover(套衫)、dress(连衣裙)、coat(外套)、sandal(凉鞋)、shirt(衬衫)、sneaker(运动鞋)、bag(包)和ankle boot(短靴)。Fashion-MNIST由10个类别的图像组成, 每个类别由训练数据集(train dataset)中的6000张图像 和测试数据集(test dataset)中的1000张图像组成。这个函数返回训练集和验证集的数据迭代器。

qq_38473254的博客 4820

图像分类传统算法和深度学习算法简单介绍

图像分类是计算机视觉领域的一项基本任务,旨在根据输入图像将其预测到一个或多个类别中。本文档将详细介绍一些常用的图像分类算法,包括传统方法和深度学习方法。

百年孤独百年的博客 6872

深度学习---图像分类网络

深度学习在图像邻域的应用大致可以分为图像分类、目标检测、图像分割三大类,其中图像分割又可以细分为语义分割、实例分割和全景分割,这一篇梳理下常见的分类数据集和分类网络,后续会重点介绍ResNet,并逐步实现ResNet训练及推理。

datian1234的博客 1946

深度学习05——图像分类

本文介绍了分类任务与卷积神经网络的基本原理。分类任务需使用独热编码表示类别,通过交叉熵损失计算输出与实际值的差异。卷积神经网络通过卷积核提取特征图,配合池化操作降低维度,解决图像分类问题。文章详细解释了卷积运算、padding、步长等概念,并介绍了经典模型AlexNet(采用ReLU、Dropout等技术)和ResNet(引入1×1卷积和残差连接解决梯度消失问题)。最后指出全连接层与卷积层的关系,说明卷积参数可通过梯度更新进行优化。核心思想是通过卷积神经网络有效处理图像分类任务,同时控制模型复杂度。

shzyss的博客 923

【深度学习】基于CNN的图像分类

本项目基于Fashion-MNIST数据集构建CNN图像分类模型,通过数据增强、标准化和自定义数据集划分(训练70%、验证15%、测试15%)优化数据处理流程。模型采用"卷积+池化"双模块结构进行特征提取,结合Dropout层防止过拟合。实验结果表明,该CNN架构能有效识别10类衣物图像,测试准确率达91.5%,验证集准确率92.3%,具备良好的泛化能力。关键创新点包括自定义CombinedDataset类实现灵活数据划分,以及针对训练/验证集的不同数据增强策略。

m0_70466650的博客 1383

【深度学习——彩色图片分类】

池化层对提取到的特征信息进行降维,一方面使特征图变小,简化网络层计算复杂度;另一方面进行压缩,提取主要特征,增加平移不变性,减少过拟合风险。池化层包括最大池化层和平均池化层,均值池化对背景保留更好,最大池化对纹理提取更好。同卷积计算,池化层计算窗口内的平均值或者最大值。通过模型进行预测得到是每一个类别的概率,数字越大该图片为该类别的可能性越大。3的图片,通过填充一层边界,在通过2。

qq_45786199的博客 550

深度学习入门基础:图像分类网络整理(最全)

目录图像分类Lenet1.简介2.网络结构Alexnet1.简介2.网络结构VGG1.简介2.网络结构3.VGG改进点总结GoogLeNet1.网络简介2.inception的结构3. 1x1卷积核的主要作用4. 几点说明Resnet1.简介2.网络结构DenseNet1.简介2.网络结构EfficientNetEfficientNetV2sufflentV2sufflenet时间轴代码实现训练结果对比图像分类实质上就是从给定的类别集合中为图像分配对应标签的任务。也就是说我们的任务是分析一个输入图像并返回一

weixin_43507744的博客 1万+

深度学习——图像分类(CIFAR-10)

本章主要是对一个常见的图像数据集:CIFAR-10,用Resnet18模型来进行图像分类,然后形成一个桌面小程序用来更好的交互和展示。其中最重要的还是模型的建立,通过对不同模型的测试以及超参数的调整来找到”最优解“。 明日复明日,明日何其多,我生待明日,万事成蹉跎。 --2023-10-24 进阶篇

2301_78630677的博客 3386
上一篇: 深度学习 Day1——T1实现mnist手写数字识别
下一篇: 深度学习 Day3——T3天气识别
LittleRuby
博客等级 码龄7年 465粉丝 38原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值