【算法笔记】CNN Convolutional Neural Network （卷积神经网络）

最新推荐文章于 2024-12-06 11:06:09 发布
原创 最新推荐文章于 2024-12-06 11:06:09 发布 · 349 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入解析了卷积神经网络(CNN)的结构与工作原理，包括卷积层、池化层、ReLU层、全连接层和Dropout层的作用及训练方法。同时，文章对比了CNN与传统神经网络的区别。

1. 先皮一会

久仰CNN的大名，进入新闻界，加入美国有线电视新闻网，成为一个跑得飞快的记者一直是我的梦想。但是，平庸的才能无法让我成为一名空间移动系的法师，现在只能努力成为一名精神系人偶师。
话说前两天实验验收，把CNN和RNN搞混了orz，太尴尬了orz，所以现在怎么说也得把他们的概念弄清楚。

2. 算法的作用

输入：一张图片（长x宽x空间维度（RGB，Spatial Dimensions））
输出：这张图片属于不同特定分类的概率（比如：80% 是猫、15% 是狗、5% 是鸟）。

3. 总体结构

原始图像->若干卷积层->若干非线性层->若干池化->全连接层

4. 详细描述

4.1 卷积层（Convolutional Layer）

嫖来一张图片

卷积层的输入: 可以是原始图像，也可以是其他卷积层的结果，也可以是池化，非线性层的结果。
卷积层的基本操作： 是使用某特定长宽深的卷积核【Kernel,又称过滤器(filter),神经元(neuron)】与输入矩阵中的某一部分逐项相乘再一同相加，当作一个新的元素。然后向右一格，执行同样的操作。
卷积层为什么要这么干： 卷积核划过整片矩阵之后，得到的新矩阵，称之为激活映射(activation Map)，如果矩阵中某个区域有这个卷积核想要识别的特征，激活映射上对应的值会特别高，以此反映出这个图片上存在某种特征，比如直线，U型线，等等低级特征。经过多个卷积层之后，低级特征可以组合起来表达某些高级特征。

4.2 池化（Pooling）

池化输入： 卷积层或者非线性层的结果
池化基本操作： 一般有平均池化，最大池化。可以在周围补0，也可以不补。注意，池化的步长与池化矩阵边长相等
池化操作的目的：

池化层还有其他选择，比如平均池化（average pooling）和 L2-norm 池化 。
这一层背后的直观推理是：
一旦我们知道了原始输入（这里会有一个高激活值）中一个特定的特征，它与其它特征的相对位置就比它的绝对位置更重要。

这一层大幅减小了输入卷的空间维度（长度和宽度改变了，但深度没变）。这到达了两个主要目的。
第一个是权重参数的数目减少到了75%，因此降低了计算成本。
第二是它可以控制过拟合（overfitting）。这个术语是指一个模型与训练样本太过匹配了，以至于用于验证和检测组时无法产生出好的结果。出现过拟合的表现是一个模型在训练集能达到 100% 或 99% 的准确度，而在测试数据上却只有50%。

作者：机器之心
链接： https://www.zhihu.com/question/52668301/answer/131573702
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

上面的说法比较清楚，简单来说，池化的作用是降低计算复杂度，防止过拟合

4.3 ReLU

                                      f(x) = max(0,x)

这一层将所有的负激活变成0，增加了模型乃至整个神经网络的非线性特征，而不会影响卷积层感受野

4.4 全连接层

全连接层输入： 其他层的输出，是一个有厚度（空间维度）的矩阵
全连接层的操作： 暂时不清楚
全连接层的目的： 其他操作的结果依然是一个矩阵或者许多矩阵, 全连接层就是要把这些矩阵映射到一个向量，这个向量的维度就是该分类器待选分类项目数，向量的不同值代表分类为该项的概率。

4.5 DropOut

如今，Dropout 层在神经网络有了非常明确的功能。上一节，我们讨论了经过训练后的过拟合问题：训练之后，神经网络的权重与训练样本太过匹配以至于在处理新样本的时候表现平平。
Dropout 的概念在本质上非常简单。Dropout 层将「丢弃（drop out）」该层中一个随机的激活参数集，即在前向通过（forward pass）中将这些激活参数集设置为 0。
简单如斯。既然如此，这些简单而且似乎不必要且有些反常的过程的好处是什么？
在某种程度上，这种机制强制网络变得更加冗余。
这里的意思是：该网络将能够为特定的样本提供合适的分类或输出，即使一些激活参数被丢弃。此机制将保证神经网络不会对训练样本「过于匹配」，这将帮助缓解过拟合问题。另外，Dropout 层只能在训练中使用，而不能用于测试过程，这是很重要的一点。

作者：机器之心
链接： https://www.zhihu.com/question/52668301/answer/131573702
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

震惊

4.6 训练方法

CNN的训练方法，与传统神经网络相同，都是反向传播算法，其基础原理在吴恩达老师的视频课上讲得比较清楚，但在CNN上的具体数学实现，并不清楚。

4.7 与传统神经网络的区别&遗留的问题

传统神经网络，不同层级之间都是全连接的，如果各个层级维度很高，那么转移矩阵就会巨大。
而CNN，假如我们把图片矩阵重新排列成一维向量，可以发现，每次只有向量中的一部分参与了卷积运算，一次大的全连接被拆分成了多个小的部分连接运算。
在这里插入图片描述
留有的问题：
池化是怎么帮助矩阵稳定的？
全连接层的具体原理
训练，CNN反向传播的数学原理

中文分词基于CNN和Word Embeddings
不想做咸鱼的咸鱼的专栏
08-14 1685
基于字符的序列标记框架对于中文分词是非常搞笑灵活的。 论文：Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation 地址：论文地址 中文分词基于CNN和Word EmbeddingsAbstractIntroductionArchitectureConvolutional LayerCRF L...
Nature Medicine文章Cardiologist-level arrhythmia detection and classifcation细节记录
wendell 的博客
01-11 1237
Nature Medicine 文章 Cardiologist-level arrhythmia detection and classifcation 细节记录 全文链接 前言 心电图是临床的基本工具，每年3亿份 ，诊断心电异常 有提出特定种类的算法，但没有完整12类的研究 现有的数据集数量太少 <PhysioNet 47subjects> 本文建立了又大又新的数据集。 数...
卷积神经网络和Word Embeddings 在中文分词领域的应用
sjyttkl的专栏
12-12 1642
Convolutional Neural Network withWord Embeddings for Chinese Word  Segmentation 近年来，许多基于特征的神经模型已被应用于CWS。虽然已经有很好的表现了，但是都有两大缺点：第一，分词模型很大程度需要依赖人工设计bigram特征，不能自动捕获n-gram特征。第二，分词模型不能最大程度上使用完整的字信息。 基于第一个缺...
Chinese word segmentation 中文词分割
yaochuyi的博客
06-06 5098
转自： https://www.cnblogs.com/DjangoBlog/p/6889421.html 现有分词介绍 分词方法大致分为两种： 基于词典的机械切分 基于统计模型的序列标注切分 1. 基于词典的机械划分 1.1 基于词典的机械划分 基于词典的方法本质上就是字符串匹配的方法，将一串文本中的文字片段和已有的词典进行匹配，如果匹配到，则此文字片段就作为一个分词结果。...
[ACL2017]Neural Word Segmentation with Rich Pretraining
Deep Learning and NLP Farm
09-23 1545
中文分词的文章，非常有意思 之所以有意思是因为这篇文章将transition-based的方法引入到了neural network, 而且用来分词，当然transition-based用来做parsing的有很多文章，本文的关键问题是如何表示word, P, 和character. 并不是初始化而已，也是本文的创新点，就是pretraining word embedding, P embedd
CNN，全称Convolutional Neural Network（卷积神经网络），是一种特殊类型的神经网络，它在处理图像数据
09-12
cnnCNN，全称Convolutional Neural Network（卷积神经网络），是一种特殊类型的神经网络，它在处理图像数据方面表现出色。CNN通过模拟人脑对视觉信息的处理方式来设计，能够有效地从图像中提取特征，并用于图像识别...
Convolutional Neural Network_神经网络_CNN_
09-30
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，广泛应用于计算机视觉领域，如图像分类、目标检测、图像分割等任务。该模型借鉴了视觉皮层神经元的工作原理，对输入图像进行多层次的...
卷积神经网络（CONVOLUTIONAL NEURAL NETWORK, CNN）到底是什么？全面理解CNN
线粒体小亚的空间
12-06 2029
卷积神经网络（CONVOLUTIONAL NEURAL NETWORK, CNN）到底是什么？全面理解CNN
精选资源
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
中文分词学习笔记
zerozzl01的博客
10-24 2024
1 中文分词概述 1.1 简介 定义 通过计算机自动识别出句子中的词，在词间加入边界标记符，分隔出各个词汇。 为什么需要中文分词？因为，汉语中，书面上以字为基本单位，语义上以词为基本单位。 难点 1）没有统一的分词标准，不同的领域对于词的划分方式有不同的标准。 2）歧义消解 例子1：结婚的和尚未结婚的 结婚/的/和/尚未/结婚/的 结婚/的/和尚/未/结婚/的 例子2：研究生命的起源 研究/生命/的/起源 研究生/命/的/起源 ...
【论文阅读笔记】Cardiologist-level arrhythmia detection and classification in ambulatory electrocardiograms
寸先生的AI道路
01-27 3874
本文是吴恩达团队与2019年1月在Nature Medicine上发表的文章。         本文开发了一个深度神经网络（DNN），使用来自使用单导联动态心电监护设备的53,549名患者的91,232个单导联心电图对12个节律类别进行分类。DNN在（ROC）下达到0.97的平均面积。 DNN的平均F1评分为0.837，超过了普通心脏病学家（0.780）。DNN的敏感性超过了心脏病学家对所有节律...
NLP论文收集
hongguoya的博客
03-25 1820
论文阅读中文分词命名实体识别 中文分词 命名实体识别
深度学习用于NLP(分词)中的论文及代码集锦
hestendelin的专栏
10-22 1164
[1]Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectiona...
论文阅读：Long Short-Term Memory Neural Networks for Chinese Word Segmentation【2015】
SYSU_BOND的博客
09-09 1103
意义： 首次使用LSTM用于中文分词【之前的方法大多基于局部上下文对标注进行预测，并未能很好使用长距离信息，详情看后续阐述】 调研了多种在LSTM中的dropout的应用 【现在去看感觉这篇文章工作意义不大】 Previous Methods 前馈神经网络分词：把上下文进行concate后，经由线性分类器标注 模型 LSTM-1：使用单层LSTM LSTM-2：使用双层LS...
NLP Github
weixin_30426879的博客
03-20 826
作者：cstghitpku链接：https://zhuanlan.zhihu.com/p/51279338来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 1.分词 Word Segmentation chqiwang/convseg ，基于CNN做中文分词，提供数据和代码。 对应的论文Convolutional Neural Network with Wo...
机器学习算法篇--卷积神经网络基础（Convolutional Neural Network）
孙启超
12-21 4443
定义： 首先来了解一下深度学习的定义：深度学习是以数据的原始形态作为算法输入，经过算法层层抽象将原始数据逐层抽象为自身任务所需的最终特征表示，最后以特征到任务目标的映射作为结束，从原始数据到最终任务目标，“一条龙服务” 并无夹杂任何人为操作。普通话说就是“省去了人为的特征工程，实现完全封闭。是一种‘端到端’的学习方式”，而传统机器学习的天花板是由特征工程决定的。 卷积神经网路：是一类特殊的人工
CNN（Convolutional Neural Networks）学习总结
BVL的博客
11-29 2639
刚开始学习cnn，把前段时间看cnn相关的内容，今天稍微的总结下。在文章中差漏的地方，还望见谅。权当做交流。文章开头先推荐一个网址： https://github.com/BVLC/caffe/wiki/Model-Zoo 罗列了主流会议，近年来cnn上的相关进展和各种model，感兴趣的可以拿来阅读一番。**Cnn几篇重要的论文** Lenet-5 ：Yann LeCun等在1998年发布的
卷积神经网络(Convolutional Neural Networks, CNN)的特点
justisme的博客
07-07 2432
图形的特点： 图像的区域性--即：图像中某一个特征只与某一个子区域有关系，与整个图像没关系 图像特征与位置无关--即：图像所包含的内容与内容位于图像中的位置无关，只要它出现在图像中就OK了。 针对图像的以上特点，我们定义的卷积神经网络参数具有如下特点： 局部连接 全局共享 卷积核就是局部连接的参数。 加权求和本质是卷积操作没啥区别。 卷积核的参数 P=边距(paddi...
Cardiologist-Level Arrhythmia Detection with Convolutional Neural Networks2017
sunyao_123的博客
07-29 2224
作者：Pranav Rajpurkar ∗ Awni Y. Hannun ∗ Masoumeh Haghpanahi Codie Bourn Andrew Y. NgAbstract 我们研发了一种算法，在检测由单个导联可穿戴监视器记录的很多种心率不齐心电图上，能够提高委员会认证医生的表现。我们训练了一个34层的卷积神经网络，将ECG样本分类。 Introduction 为了从
卷积神经网络（Convolutional Neural Network, CNN）
最新发布
06-10
### 卷积神经网络（CNN）的概念、原理与应用 卷积神经网络（Convolutional Neural Networks，CNNs）是一种专门用于处理具有网格状拓扑结构数据的深度学习模型[^1]。它在图像识别、语音识别等领域取得了显著的成果，其设计灵感来源于生物学中的视觉系统，能够模拟人类视觉处理信息的方式[^2]。 #### CNN 的核心概念 CNN 的主要特点是通过卷积层和池化层等操作从输入数据中提取特征，并将这些特征用于分类或回归任务。卷积层通过一系列可学习的卷积核（滤波器）来检测局部特征，例如边缘、纹理等[^3]。池化层则用于降低特征图的空间尺寸，从而减少计算量并增强模型的鲁棒性[^3]。 #### CNN 的工作原理 CNN 的基本架构通常包括以下几个关键部分： 1. **卷积层**：卷积层是 CNN 的核心组件之一，负责提取输入数据的局部特征。每个卷积核可以看作是一个小型的特征探测器，通过滑动窗口的方式对输入进行扫描，生成一个特征图（Feature Map）。这些特征图捕捉了输入数据的不同模式。 2. **激活函数**：为了引入非线性特性，卷积层后通常会接一个激活函数，如 ReLU（Rectified Linear Unit），以确保模型能够学习复杂的映射关系。 3. **池化层**：池化层的作用是对特征图进行降采样，从而减少数据的维度，同时保留最重要的特征信息。常见的池化方法包括最大池化（Max Pooling）和平均池化（Average Pooling）[^3]。 4. **全连接层**：经过多层卷积和池化操作后，最终的特征图会被展平并输入到全连接层中，用于完成具体的分类或回归任务[^2]。 #### CNN 的典型应用 CNN 在多个领域中得到了广泛的应用，以下是几个典型的例子： - **图像分类**：CNN 是图像分类任务的核心技术，例如 AlexNet、VGG、ResNet 等经典网络结构都在 ImageNet 数据集上取得了突破性的性能[^1]。 - **目标检测**：基于 CNN 的目标检测框架，如 Faster R-CNN、YOLO 和 SSD，能够在图像中精确定位并分类多个对象。 - **图像生成**：生成对抗网络（GANs）结合 CNN 可以生成高质量的合成图像，广泛应用于艺术创作、数据增强等领域。 - **医学影像分析**：CNN 在医学影像分析中表现优异，例如通过分析 X 光片或 MRI 图像来辅助诊断疾病。 ```python # 一个简单的 CNN 模型示例（使用 TensorFlow/Keras） from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense model = Sequential([ Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)), MaxPooling2D(pool_size=(2, 2)), Conv2D(64, (3, 3), activation='relu'), MaxPooling2D(pool_size=(2, 2)), Flatten(), Dense(128, activation='relu'), Dense(1, activation='sigmoid') ]) model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值