TensorFlow2.0入门到进阶系列——5.2_卷积神经网络

最新推荐文章于 2023-03-02 19:08:14 发布
原创 最新推荐文章于 2023-03-02 19:08:14 发布 · 608 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #tensorflow #卷积

本文介绍了卷积神经网络的基础理论，包括其结构和解决神经网络参数过多、计算资源不足的问题。在实战部分，通过Keras展示了如何实现卷积神经网络和深度可分离卷积，探讨了两者的参数数量和精度差异，并提供了训练建议。深度可分离卷积在网络参数减少的同时，可能导致精度下降，需要更多的训练轮数。
部署运行你感兴趣的模型镜像

5.2_卷积神经网络

1、理论部分

  • 卷积神经网络
    • 卷积操作、池化操作
  • 深度可分离卷积
  • 数据增强
  • 迁移学习

1.1、卷积神经网络

1.1.1 结构

  • 卷积神经网络
    • （卷积层 + 池化层（可选）） * N + 全连接层 * M ；
      (其中，N >= 1，M >= 0，卷积层输入输出均为矩阵，全连接层输入输出均为向量。连接方法就是在卷积的最后一层做一个展平处理。全连接层输出可以是一个值，也可以是一个向量，也就是回归和分类。)
    • 分类任务、回归任务；
  • 全卷积神经网络
    • （卷积层 + 池化层（可选）） * N + 反卷积层 * K；
    • 物体分割
      在这里插入图片描述
      在这里插入图片描述

1.1.2 神经网络遇到的问题

  • 参数过多
    • 计算资源不足
    • 容易过拟合，需要更多训练数据
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      答案：3 * 3 * 3 * 192
      完美解答
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

2、实战部分

  • keras实现卷积神经网络
  • keras实现深度可分离卷积
  • keras实战kaggle
    • 10 monkeys和cifar10
    • 数据增强与迁移学习

2.1、keras实现卷积神经网络

在这里插入图片描述

#深度神经网络
model = keras.models.Sequential()

#定义第一个卷积层
model.add(keras.layers.Conv2D(filters = 32,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #平均值池化
                              activation='relu',         #加padding是否要输入和输出大小一样
                              input_shape=(28,28,1)))    #输入图片大小 28*28*1
model.add(keras.layers.Conv2D(filters = 32,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #加padding是否要输入和输出大小一样
                              activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同


model.add(keras.layers.Conv2D(filters = 64,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #平均值池化
                              activation='relu'))        #加padding是否要输入和输出大小一样
model.add(keras.layers.Conv2D(filters = 64,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #加padding是否要输入和输出大小一样
                              activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同


model.add(keras.layers.Conv2D(filters = 128,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #平均值池化
                              activation='relu'))        #加padding是否要输入和输出大小一样
model.add(keras.layers.Conv2D(filters = 128,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #加padding是否要输入和输出大小一样
                              activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同

#连接全连接层之前，先做一个flatten
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(128,activation='relu'))

model.add(keras.layers.Dense(10, activation="softmax"))

model.compile(loss = "sparse_categorical_crossentropy",     #如果y已经是向量了就用categorical_crossentropy",如果是数字就用sparse_
             optimizer = "sgd",
             metrics = ["accuracy"])

model.summary()

在这里插入图片描述

#这里演示，使用三个常用的callbaks：TensorBoard, EarlyStopping, ModelCheckpoint
#对于Tensorboard需要一个文件夹，对于ModelCheckpoint来说需要一个文件名
#定义一个文件夹，和文件名
#logdir = './dnn-callbacks'
logdir = os.path.join("cnn-selu-callbacks")
if not os.path.exists(logdir):
    os.mkdir(logdir)
output_model_file = os.path.join(logdir, "fashion_mnist_model.h5")
 
callbacks = [
    keras.callbacks.TensorBoard(logdir),
    keras.callbacks.ModelCheckpoint(output_model_file,save_best_only = True),
    keras.callbacks.EarlyStopping(patience = 5, min_delta = 1e-3),
]
#callbacks是在训练过程中做一些监听，所以要添加到fit函数中
history = model.fit(x_train_scaler, y_train, epochs=10, 
                    validation_data = (x_valid_scaled, y_valid), 
                    callbacks = callbacks)

在这里插入图片描述

#绘图查看history中的变量变化过程
def plot_learning_curves(history):
    pd.DataFrame(history.history).plot(figsize = (8,5))   #将数据转换成DataFrame，然后调用plot实现
    plt.grid(True)      #绘制网格
    plt.gca().set_ylim(0, 2)       #设定y坐标的范围
    plt.show()
    
plot_learning_curves(history)

在这里插入图片描述

#在测试集上进行测试
model.evaluate(x_test_scaled, y_test)

在这里插入图片描述
注：将网络中所有relu激活函数换成selu后，模型的效果会得到不错的提升。（有时也会变得更糟糕）

  • 可以自行尝试

2.2、keras实现深度可分离卷积

2.2.1、理论部分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2.2、深度可分离卷积网络实战

修改建模部分代码

'''深度可分离卷积-神经网络Conv2D -> SeparableConv2D'''

model = keras.models.Sequential()

#定义第一个卷积层
model.add(keras.layers.Conv2D(filters = 32,              #32个通道（32个卷积核）
                              kernel_size=3,             #卷积核大小为3
                              padding='same',            #大小不变
                              activation='relu',         #加padding是否要输入和输出大小一样
                              input_shape=(28,28,1)))    #输入图片大小 28*28*1
model.add(keras.layers.SeparableConv2D(filters = 32,              #32个通道（32个卷积核）
                                       kernel_size=3,             #卷积核大小为3
                                       padding='same',            #加padding是否要输入和输出大小一样
                                       activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同


model.add(keras.layers.SeparableConv2D(filters = 64,              #32个通道（32个卷积核）
                                       kernel_size=3,             #卷积核大小为3
                                       padding='same',            #大小不变
                                       activation='relu'))        #加padding是否要输入和输出大小一样
model.add(keras.layers.SeparableConv2D(filters = 64,              #32个通道（32个卷积核）
                                       kernel_size=3,             #卷积核大小为3
                                       padding='same',            #加padding是否要输入和输出大小一样
                                       activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同


model.add(keras.layers.SeparableConv2D(filters = 128,              #32个通道（32个卷积核）
                                       kernel_size=3,             #卷积核大小为3
                                       padding='same',            #大小不变
                                       activation='relu'))        #加padding是否要输入和输出大小一样
model.add(keras.layers.SeparableConv2D(filters = 128,              #32个通道（32个卷积核）
                                       kernel_size=3,             #卷积核大小为3
                                       padding='same',            #加padding是否要输入和输出大小一样
                                       activation='relu'))        #不需要加input_shape
#池化层
model.add(keras.layers.MaxPool2D(pool_size=2))     #步长和pool_size相同

#连接全连接层之前，先做一个flatten
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(128,activation='relu'))

model.add(keras.layers.Dense(10, activation="softmax"))

model.compile(loss = "sparse_categorical_crossentropy",     #如果y已经是向量了就用categorical_crossentropy",如果是数字就用sparse_
             optimizer = "sgd",
             metrics = ["accuracy"])

model.summary()

在这里插入图片描述
由上面可知cnn的网络参数为443306个参数
使用了深度可分离卷积网络参数变为184234
在这里插入图片描述
训练结果精度和训练曲线如下图所示：
在这里插入图片描述
在这里插入图片描述
注：上图训练结果非常差，因为训练的轮数太少将epochs由10 -> 100效果会有明显提升，改为300更佳。
结论：
**优点：**训练参数可以大大减少
**缺点：**精度有所下降，训练的时间更长，迭代的轮数也应该变得更多轮。
由上图可以看出，训练的精度在第8-9步才有所的提升，训练曲线也很明显的展现出这个问题。

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

从学术到工业：CV工程师的成长路径
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
08-15 18万+
从学术到工业：CV工程师的成长路径​ ，人工智能，计算机视觉，大模型，AI，学术研究推动技术边界，工业实践验证商业价值。早期 CV 工程师多聚焦于算法理论创新，如 SIFT 特征提取（1999 年）、HOG+SVM 行人检测（2005 年）等经典方法的提出；而深度学习浪潮（2012 年 AlexNet 问世）后，产业对 CV 工程师的需求爆发，要求从业者兼具学术视野与工程落地能力。
Tensorflow2.0：卷积神经网络CNN
Docpark
02-22 1644
一 全连接网络所遇到的问题 对于一个大小为2828像素的图片来说，将他的二维向量铺平一维输入神经网络中，它就拥有784个特征，那么以该特征随意建立个神经网络模型，其示意图如下： 由于输入节点和输出节点是两两相连的关系，使得参数稠密，计算代价高，这使得全网络连接在应用上有很大的局限性。 二 什么是卷积神经网络 卷积神经网络的核心思想就是局部相关性与权值共享。 1.什么是局部相关性？ 对于一个图片来...
​TensorFlow 2.0 模型：卷积神经网络
weixin_40920183的博客
10-14 578
文 /李锡涵，Google Developers Expert本文节选自《简单粗暴 TensorFlow 2.0》本篇文章则以在图像领域常用的卷积神经网络为主题，介绍以下内容：如何使...
Tensorflow实现卷积神经网络
yqtao的博客
04-29 5297
\quad如果不明白什么是卷积神经网络,请参考:计算机视觉与卷积神经网络 下面基于开源的实现简单梳理如何用tensorflow实现卷积神经网络.实现卷积神经网络加载数据集# 加载数据集 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_d
使用tensorflow构建一个卷积神经网络
修炼之路
06-05 5157
一、卷积神经网络卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现，主要包括卷积层(convolutional layer)和池化层(pooling layer)，主要应用于图像、视频、时间序列信号、音频信号、文本数据等。一般的卷积神经网络都是由多个卷积层组成，每个卷积层主...
16. Tensorflow2.0 卷积神经网络
12-02 255
1. 如何通俗易懂地解释卷积？ 转载自知乎，马同学 2. 2D Convolution 3. Padding & Stride 4. Channels 5. layers.Conv2D 6. 需要全套课程视频+PPT+代码资源可以私聊我 方式1：优快云私信我! 方式2：QQ邮箱:594042358@qq.com或者直接加我QQ: 594042358! ...
TensorFlow2.0入门到进阶系列——5.3_TensorFlow—kaggle实战
Xiaobai_rabbit0的博客
05-13 880
5.2_TensorFlow—kaggle实战1、kaggle实战1.1、使用数据增强 1、kaggle实战 利用kaggle进行训练 登陆kaggle官网 找到10-monkey-species数据集 新建notebook编写代码 1.1、使用数据增强 加载库 %matplotlib inline import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np import os import pandas a
【Kaggle竞赛】：从入门到进阶——Kaggle竞赛专家的实战技巧分享
[【Kaggle竞赛】：从入门到进阶——Kaggle竞赛专家的实战技巧分享](https://atozaitools.com/wp-content/uploads/2024/03/Kaggle-Your-Machine-Learning-and-Data-Science-Community-1024x438.png) # 1. Kaggle竞赛...
【TensorFlow 2.0最佳实践】：构建可扩展API架构的专家指南
![【TensorFlow 2.0最佳实践】：构建可扩展API架构的专家指南]...本文旨在为初学者提供TensorFlow 2.0的入门知识，并深入探讨模型构建的理论基础，包括张量操作、自动微分、损失函数和
【深度学习基础】：TensorFlow Object Detection API搭建入门篇（1）——环境搭建与测试（专业性+实用型）
![Tensorflow object detection API 搭建属于自己的物体识别模型（1）——...深度学习是机器学习的一个分支，它通过构建深层的神经网络来模仿人类大脑的决策过程。它在图像识别、语音识别、自然语言处理等领域取得了革
Tensorflow2.0——卷积神经网络
qq_42873479的博客
01-28 683
Tensorflow2.0——卷积神经网络卷积神经网络卷积池化与采样经典卷积神经网络LeNet-5 卷积神经网络 卷积 layers.Conv2D weight&bias nn.conv2D 池化与采样 池化：Max/Avg pooling 上采样：upsample UpSampling2D： Relu： 经典卷积神经网络 LeNet-5 99.2%acc ；5/6layers ...
Tensorflow2.0 卷积神经网络
Xpy_021101的博客
03-02 370
3层神经网络 ，括号中的第一个参数表示神经元的数量，最后一个有10个单元，因为数据集中有10类标签，这里应该匹配，第一层是一个扁平层输入的形状是28x28，因为我们的图像就是28x28，扁平化是将这个28x28的正方形变成一个简单的线性阵列，中间一层是隐藏层有128个神经元。conv卷积层，要求Keras为我们生成64个过滤器，过滤器是3x3，激活函数是Relu，意味着负值会被丢弃，最后输入形状和之前一样为28x28，通道是1，即灰度图像。优化器是sgd，代表随机梯度下降，损失函数是均方误差。
tensorflow2.0之卷积神经网络
qq_44971458的博客
07-04 2263
tf.keras实现卷积神经网络 Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow, CNTK, 或者 Theano 作为后端运行。 Keras可以很明确的定义了层的概念，反过来层与层之间的参数反倒是用户不需要关心的对象，所以构建神经网络的方法对于普通开发者来说，相对tensorflow，Keras更易上手。 并且Keras也是tensorflow官方在tensorflow2.0开始极力推荐使用的。 卷积神经网络（Convolutional Neural Ne
tensorflow2.0(二)----卷积神经网络(CNN)
weixin_43648821的博客
12-01 448
使用Keras实现卷积神经网络 class CNN(tf.keras.Model): def __init__(self): super().__init__() self.conv1 = tf.keras.layers.Conv2D( filters = 32, kernel_size=[5,5], padding = 'same', activation = tf.nn.relu) self.pool1 = tf.keras.layers.MaxPool2D(poo
tensorflow 卷积神经网络
FREEDOM
03-02 1117
网上搜集 已经大概解释了tensorflow的大概运行流程，并且提供了一个mnist数据集分类器的简单实现。当然，因为结构简单，最后的准确率在91%左右。似乎已经不低了？其实这个成绩是非常不理想的。现在mnist的准确率天梯榜已经被刷到了99.5%以上。为了进一步提高准确率，官网还提供了一个多层的CNN分类器的代码。相比之前的一层神经网络，这份代码的主要看点倒不是多层，而是C
Tensorflow卷积神经网络
JAVA程序的博客
10-13 702
卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络, 在计算机视觉等领域被广泛应用. 本文将简单介绍其原理并分析Tensorflow官方提供的示例. 关于神经网络与误差反向传播的原理可以参考作者的另一篇博文BP神经网络与Python实现. 工作原理 卷积是图像处理中一种基本方法. 卷积核是一个nxn的矩阵通常n取奇数, 这样矩阵就
TensorFlow：卷积神经网络
《好好先生》专栏
06-13 334
卷积神经网络
Tensorflow之卷积神经网络（CNN）
zmjames2000 Just record
03-04 1725
come from :https://www.cnblogs.com/lizheng114/p/7498328.html 前馈神经网络的弊端 前一篇文章介绍过MNIST，是采用的前馈神经网络的结构，这种结构有一个很大的弊端，就是提供的样本必须面面俱到，否则就容易出现预测失败。如下图： 同样是在一个图片中找圆形，如果左边为训练样本，右边为测试样本，如果只训练了左边的情况，右边的一定会预测...
Tensorflow笔记：卷积神经网络详解
"Tensorflow笔记，卷积神经网络详解" 这篇Tensorflow笔记主要讲解了卷积神经网络（Convolutional Neural Networks, CNN）的基础知识及其在图像识别中的应用。笔记首先回顾了全连接神经网络（Fully Connected ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值