【CS231n笔记】07 Convolutional Neural Networks

CNN 1d 输入输出维度 CNN 1d 输入输出维度: tf.layers.conv1d函数解析(一维卷积) 更正: tf.nn.conv1d()详细正确解析 pytorch之nn.Conv1d详解 阅读详情

1.卷积层(Convolution Layer)
2.池化层(Pooling Layer)
3.CNN经典架构

1.卷积层(Convolution Layer)
a.卷积层介绍
以CIFAR10中的图像为例,它的大小为32*32*3,CNN处理的就是如同图像结构的数据,CNN中的各层以这种结构的数据为输入,经过处理后输出的数据也是同样的组织形式,所以CNN操作的数据是如同图像一样的立体结构,而不是传统神经网络处理的向量形式。
这里写图片描述
这种立体结构有三个维度(长度、宽度、深度),在整个CNN中数据都要保持这些三维特征。
注:这里的深度并非“深度神经网络”中“深度”的含义,它只是数据的第三个维度。

卷积层工作流程:使用若干滤波器(filter)对图像进行卷积。具体的,每个滤波器以固定步长对图像进行遍历,计算每个数据块(维度同滤波器一致)与滤波器的点乘得到一个数值,同一滤波器的结果组成一个激活图,将多个不同滤波器生成的激活图在深度维度上堆叠,即得到该卷积层的输出。
这里写图片描述
滤波器的维度一般很小,常用的有3*3、5*5等,注意滤波器的深度维度要同输入数据的一致。
卷积神经网络就是使用一系列卷积层对数据进行处理,另外中间穿插使用激活函数(如ReLU),具体结构如下图:
这里写图片描述
经过多个卷积层处理的数据会构建成具有层次结构的特征表示,如下图所示,将各层的特征图进行可视化:
这里写图片描述
可以看到,第一层中基本都是边缘或者色块,那么该层的滤波器就会在原始图像中寻找这些特征,随着网络的深入,将底层特征组合成为更高层更抽象的特征。
这与Hubel和Weisel的层次特征理论相一致,底层特征经过组合得到更加复杂的特征表示。
这里写图片描述

另举例如下图,每个滤波器对应一个激活图。可以看到第一个滤波器注重于检测相应反向的纹理,而第二个滤波器注重于检测橙色特征。
这里写图片描述

卷积神经网络的大体布局如下:
这里写图片描述
主要有卷积层(CONV)、非线性变换层(如ReLU)、池化层(POOL),这三种类型的层经过若干次堆叠,会得到越来越抽象的表示,最后接若干全连接层(FC),用来判定输入图像在不同类别上的得分。

在进行卷积操作之前,会在输入数据边界进行零值填补,这样经过卷积操作的输出数据与输入数据的长宽会保持一致。
这里写图片描述
一般的,如果卷积层滤波器滑动步长为1,大小为F*F,那么零值填充的需要(F-1)/2,这样就可以保证输入输出数据的长宽一致。

输出数据的维度一般根据下列公式进行计算,影响输出数据维度的因素有滤波器数量K、滤波器大小F*F、滑动步长S、零值填充P。滤波器数量一般是2的幂,常用的有32、64、128、512等,大小一般取1*1、3*3、5*5,步长一般为1或2,零值填充根据前面的设置来决定。
这里写图片描述
每个激活图由一个滤波器生成,即卷积层采用了参数共享策略,所以每个卷积层中的参数数量为(F*F*D1)*K,另外还有K个偏置。

采用1*1大小的滤波器的卷积层也是有意义的,虽然滤波器在长宽维度上为1,但在深度维度并非如此,所以1*1卷积层中的滤波器进行1*1*D的点乘运算。
这里写图片描述
1*1卷积层一般可以用于降维。

b.卷积层在不同软件中的配置
(1) Torch
这里写图片描述
(2) Caffe
这里写图片描述
(3) Lasagne
这里写图片描述

c.从大脑/神经元的角度看卷积层
这里写图片描述
滤波器在某位置的点乘操作可以看作一个固定在此位置的神经元,它只与输入数据中的一小部分相连接(局部连接),对该区域的输入进行操作。
这里写图片描述
但是同一个激活图中的滤波器参数是相同的,也就是说生成同一个激活图的神经元共享参数,但是它们的局部连接区域不同,F*F大小的滤波器也意味着每个神经元具有F*F大小的感受区域(receptive field)。
这里写图片描述
但是在深度维度上,局部连接区域相同的神经元具有不同的参数,所以神经元只与生成同一激活图的神经元共享参数。
由此可以看出,卷积层中的神经元具有共享参数和局部连接的特点。共享参数使得每个激活图由相同特征组成,并且可以减少参数数量,避免过拟合。局部连接即使用小的滤波器而非全局连接,这样也可以减少参数数量。

2.池化层(Pooling Layer)
由于采用零值填充,卷积层一般不会减小长宽维度的尺寸,而是池化层通过下采样(downsampling)进行尺寸减小,下采样处理在每个激活图中独立进行。
这里写图片描述
最常用的是最大值池化(max pooling),即选取滤波器中的最大值作为输出。
这里写图片描述
另外常用的还有平均值池化,取滤波器中数据的平均值作为输出。

池化层的输出维度计算如下
这里写图片描述
池化层中没有参数,另外注意池化层一般不使用零值填充处理。

卷积神经网络演示(ConvNetJS)
http://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html

3.CNN经典架构
a. LeNet-5
这里写图片描述

b. AlexNet
这里写图片描述

c. ZFNet
这里写图片描述

d. VGGNet
这里写图片描述

e. GoogLeNet
这里写图片描述

f. ResNet
这里写图片描述
具体地
这里写图片描述

模型规模与准确率
这里写图片描述

总结
— 卷积神经网络一般由卷积层、池化层、全连接层组成
— 发展趋势:
滤波器尺寸变小;
网络架构变深;
不再使用池化层和全连接层,仅使用卷积层构成整个网络
— 典型架构为 [(CONV-RELU)*N-POOL?]*M-(FC-RELU)*K,SOFTMAX
N一般大于5,M较大,0 <= K <= 2;
近期如ResNet和GoogLeNet并没有采取这种形式

全卷积网络FCN进行图像分割 背景CNN能够对图片进行分类,可是怎么样才能识别图片中特定部分的物体,在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑,于是无穷无尽的人往坑里面跳。全卷积网络 Fully Convolutional NetworksCNN 与 FCN通 阅读详情

相关推荐

斯坦福CS231n课程笔记纯干货1

1. 分类器中L1和L2比较。 在面对两个向量之间的差异时,L2比L1更加不能容忍这些差异,相对于1个巨大的差异,L2距离更倾向于接受多个中等程度的差异。 2. k-Nearest Neighbor分类器存在以下不足 分类器必须记住所有训练数据并将其存储起来,以便于未来测试数据用于比较。这在存储空间上是低效的,数据集的大小很容易就以GB计。对一个测试图像进行分类需要和所有训练图像作比较,算法

marsjhao Blog 1458

【深度学习手记】使用DNN训练与CNN训练对数据集的要求不一样,为什么CNN网络训练输入的数据需要4维的

当我将神经网络从DNN变为CNN之后,我发现我的模型无法训练了。我们以经典的Mnist数据来了解以下原因。

向往有那么一天梦幻的步态识别落地,开花❀! 2722

决策树简介/PPT

最近给我们组新生讲了决策树的相关知识,以下是所做的PPT,参考了网络资源。

垃圾就应该待在垃圾桶里的博客 3796

CNN中卷积层输入与输出尺寸的计算细节

输入矩阵格式:四个维度,依次为:样本数、图像高度、图像宽度、图像通道数 输出矩阵格式:与输出矩阵的维度顺序和含义相同,但是后三个维度(图像高度、图像宽度、图像通道数)的尺寸发生变化。 权重矩阵(卷积核)格式:同样是四个维度,但维度的含义与上面两者都不同,为:卷积核高度、卷积核宽度、输入通道数、输出通道数(卷积核个数)...

非晚非晚的博客 9576

matlab锅炉 pid仿真,基于Matlab锅炉仿真.doc

基于Matlab锅炉仿真内蒙古科技大学MATLAB课程设计任务书2012题 目:锅炉汽包水位控制系统学生姓名:林三彪学 号:0967112127专 业:测控技术与仪器班 级:2009-1指导教师:梁 丽摘 要锅炉是化工、炼油、发电、造纸和制糖等工业生产过程中必不可少的重要动力设备。锅炉往往成了不少工厂不可缺少的一部分,因而,对锅炉设备中的自动控制系统进行分析研究是必要的...

weixin_29133981的博客 1096

【电弧故障检测算法全解析,电弧串扰问题分析和解决算法】

本文系统分析了电弧故障检测算法及串扰问题解决方案。电弧检测主要采用时频域分析和机器学习方法,通过提取高频噪声、波形畸变等特征实现故障识别。针对电弧串扰问题,提出了自适应滤波、盲源分离和时频联合分析等算法。研究给出了Python和C语言的算法实现示例,包括高频能量检测、过零率计算和陷波滤波器设计。最后指出算法优化方向:实时性提升可采用滑动窗口FFT和硬件加速;抗干扰增强需结合硬件滤波;机器学习扩展可引入随机森林等分类器。该研究为电弧故障检测系统开发提供了完整的技术路线。

syttt的专栏 891

CNN入门讲解:卷积层是如何提取特征的?

各位看官老爷们 好久不见 这里是波波给大家带来的CNN卷积神经网络入门讲解 每周我将给大家带来绝对原创,脑洞大开,幽默风趣的深度学习知识点入门讲解 希望大家多多支持,多多关注 本人微信公众号:follow_bobo 知乎账号:蒋竺波 对了,本期我们的赞助商是 让你爱情事业双丰收的 最近一直忙于工作和看《猎场》 所以没时间更新,

bobo_jiang的博客 5万+

量子密钥分发系统的设计与实现(二):光路子系统初步讨论

本文主要对量子密钥分发系统中的光路子系统方案进行了讨论。

量子领域相关话题 2408

CS231n: Convolutional Neural Network for Visual Recognition基于CNN的视觉识别课程

文章目录CS231n: Convolutional Neural Network for Visual Recognitionlecture01:Introduction, A brief history of computer visionlecture02:Image Classification pipelinelecture03: Loss Functions and Optimizati...

weixin_44523062的博客 955

Verilog仿真必备:FSDB dump命令全解析与实战配置指南

本文深入解析了Verilog仿真中FSDB波形记录的核心命令与实战配置技巧。针对大规模SoC验证场景,详细介绍了如何通过$fsdbDumpvars、$fsdbDumpfile等命令实现信号精准捕获、文件体积控制和动态启停,并提供了智能化的分层dump策略,帮助工程师在保证调试信息完整性的同时,大幅提升验证效率并有效管理波形数据。

cnn8visionary的博客 351

Win11 C盘瘦身终极指南:哪些能删/能移/不能碰?附详细目录清单

本文提供了一份详细的Win11 C盘瘦身终极指南,清晰区分了可安全删除、适合迁移以及绝对不能触碰的系统目录。文章不仅列出了具体的文件夹清单与操作建议,还介绍了使用符号链接和Robocopy进行安全迁移的高阶方法,并附带了自动化脚本,帮助用户从根本上解决C盘空间不足的问题,同时确保系统稳定。

weixin_29246195的博客 1553

14个CS231N核心主题详解:借助CS231N_17_KOR_SUB字幕高效学习

CS231N_17_KOR_SUB是一个专为韩国计算机科学学生设计的CS231N 2017年视频字幕翻译项目,通过提供高质量的双语字幕资源,帮助学习者更轻松地掌握计算机视觉领域的核心知识。无论是刚入门的新手还是有一定基础的学习者,都能借助这个项目深入理解卷积神经网络等关键概念。 ## 📚 项目核心内容概览 CS231N(斯坦福大学计算机视觉课程)涵盖了从基础到高级的计算机视觉知识体系。CS2

gitblog_00473的博客 1048

【Qwen2微调实战】LLaMA-Factory框架对Qwen2-7B模型的微调实践

在人工智能的浪潮中,大型语言模型(LLMs)正逐渐成为研究和应用的热点。它们在自然语言处理(NLP)的各个领域,如文本生成、翻译、问答等任务中展现出了卓越的能力。Qwen2-7B模型,作为该领域的佼佼者,不仅因其庞大的参数量和强大的表示能力受到关注,更因其在微调后能够更好地适应特定任务而备受关注。本文将详细介绍如何利用LLaMA-Factory这一高效的微调框架对Qwen2-7B进行微调,以期达到提升模型在特定任务上的表现。

寻道AI,探索AI无限可能! 2万+

如何使用CS231N_17_KOR_SUB:3步快速获取带韩语字幕的CS231N课程视频

CS231N_17_KOR_SUB是专为韩国计算机科学学生设计的CS231N 2017课程视频字幕翻译项目,提供高质量的韩语字幕文件,帮助韩语使用者更轻松地学习计算机视觉领域的经典课程。 ## 为什么选择CS231N_17_KOR_SUB? CS231N(斯坦福大学计算机视觉课程)是深度学习和计算机视觉领域的权威课程,但原版课程没有韩语字幕,这对许多韩国学生造成了学习障碍。CS231N_17_

gitblog_00720的博客 900

【Flutter 面试题】 怎么减少Widget的重新构建?

关于 const 关键字的使用:在 Flutter 开发中,任何时候当你确定一个 Widget 在其整个生命周期内都不会发生变化时,使用 const 关键字声明这个 Widget。这样的声明告诉 Flutter 框架这个 Widget 可以在编译时生成,后续的构建周期中可以重用已经创建的 Widget,从而避免了重复的构建开销。这适用于静态文本、图标或整个不变的 Widget 树。

Code Metaverse 1579

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

CS231n Spring 2019 Assignment 2—Convolutional Networks卷积神经网络

这一篇真正开始进入深度学习里面的核心操作了-卷积神经网络,这是继Fully-Connected Neural Nets(全连接神经网络)又比较综合的一次作业,难度会有点。作业主要是完成卷积中的两种基本操作:convolution和max pooling,之后会放出两种快速版本,然后瞬间觉得自己写的朴素版本被吊着打;之后重点还得完成一下针对卷积里面的归一化:Spatial Batch Normali...

laizi_laizi的博客 1351

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

CS231n:Convolutional Neural Networks for Visual Recognition

文章目录1. 课程相关资料2. 官方笔记 20192.1 Module 1: Neural Networks2.2 Module 2: Convolutional Neural Networks3. 课堂笔记 20174. 扩展阅读 1. 课程相关资料 课程主页 教学大纲 Youtube原版教学视频 B站教学视频 腾讯云大学 AI慕课翻译 原版课程笔记 2019 知乎翻译笔记 2016 官方大作...

qq_41341454的博客 458

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【CS231n 学习笔记】Lecture7:Convolutional Neural Networks

卷积神经网络的原理 https://blog.csdn.net/v_JULY_v/article/details/51812459 另补充: 步长的限制。假设图像大小为N,滤波器大小为F,如果(N-F)/stride+1=整数,则stride为允许的步长,否则不允许。 为什么滤波器的尺寸总是奇数?奇数尺寸的滤波器有更好的表达,一般使用3、5、7尺寸的滤波器。 为什么使用0来进行填充?0不会对输入数据造成影响,滤波器只用考虑输入数据。 常用卷积网络 LeNet5 LeNet5分为卷积层块和

weixin_44564705的博客 335

CS231n Convolutional Neural Networks for Visual Recognition

CS231n CNN图像分类 笔记

gdymind的博客 616

CS231N-5-Convolutional Neural Networks

PrefaceThe title of the class. 上节课是神经网络的基本框架,一层层layer的堆积,每层都是简单的linear+RELU,这显然是不够的。在图像处理上,convolutional layer比较管用。现在我们先介绍CNN的历史。忽略远古时期,直接看两篇标志性的论文。 1998年LeCun发表了bp算法在zipcode recognization上的应用。由于硬件资源

Victor的草原 613

cs231nassignment2 q4 Convolutional Neural Networks

因为是maxpool,所以x对loss的贡献就是如果x[i,j]是某个卷积窗口的最大值,那么他就对loss产生了影响,那么也就是说要计算他的dx,否则他的梯度就是0,这一点类比一下relu就行了,我们在计算relu的梯度的时候,如果x

Leezed525的博客 2269

CS231n Convolutional Neural Networks for Visual Recognition 自翻译

CS231n Convolutional Neural Networks for Visual Recognition Convolutional Neural Networks (CNNs / ConvNets) Convolutional Neural Networks are very similar to ordinary Neural Networks from the previous...

Linford_Xuan的博客 759

EMQX 订阅消息过滤器(Subscription Message Filter)语法与匹配语义完全指南

本文档深入解析 EMQX 的订阅消息过滤器(Subscription Message Filter)功能:客户端在 MQTT 主题过滤器中追加 `?` 后缀编写过滤表达式,EMQX 即可基于 MQTT 5 `User-Property` 对消息进行订阅端筛选。读完本文,你将掌握该特性的 BNF 文法、解析规则、匹配语义、非法/合法表达式示例、配置开关 `mqtt.subscription_mess

gitblog_00911的博客 871

为什么选择CS231N_17_KOR_SUB?韩国开发者的深度学习课程学习利器

CS231N_17_KOR_SUB是斯坦福大学经典深度学习课程CS231N 2017年视频的韩语字幕翻译项目,专为韩国计算机科学学生打造,有效消除语言障碍,让深度学习入门更轻松。 ## 🚀 什么是CS231N_17_KOR_SUB? CS231N(Convolutional Neural Networks for Visual Recognition)是斯坦福大学开设的全球知名深度学习课程,

gitblog_01043的博客 973

CS231n: Convolutional Neural Networks for Visual Recognition, Summary and Assignments

CS231n课程大家都很熟悉了,深度学习入门必备课程。这里就不多介绍了,只对课程资源进行归纳汇总,分享一下自己学习该课程后完成的作业,以供一起学习的同学们参考、交流。由于该课程的课件较为精炼,没有长篇大论,且知乎有全套的课件翻译,因此这里暂不对该课程知识点进行归纳总结,后续学习中如果有需要提炼的地方会对本文进行更新。 课程资源 课程地址:http://cs231n.stanford.edu/ 课程...

KunBB的博客 1219

终极指南:CS231N_17_KOR_SUB字幕文件的正确配置与播放器推荐

CS231N_17_KOR_SUB是为韩国计算机科学学生提供的CS231N 2017年视频字幕翻译项目,旨在消除语言障碍,帮助更多人学习斯坦福大学的计算机视觉课程。本指南将详细介绍如何正确配置字幕文件以及推荐适合的播放器,让你轻松享受优质的学习体验。 ## 项目概述:为什么选择CS231N_17_KOR_SUB字幕? CS231N是斯坦福大学开设的一门以卷积神经网络(CNN)为核心的深度学习课

gitblog_00580的博客 481
上一篇: 【CS231n笔记】06 Training Neural Networks, Part 2
下一篇: 【CS231n笔记】08 Spatial Localization and Detection
binlearning
博客等级 码龄10年 10粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值