李沐笔记（卷积层）

最新推荐文章于 2024-04-09 15:36:44 发布

qq_42310607

最新推荐文章于 2024-04-09 15:36:44 发布

阅读量427

点赞数

文章标签：神经网络数据结构自然语言处理

本文链接：https://blog.youkuaiyun.com/qq_42310607/article/details/121632722

版权

本文探讨了从全连接层到卷积层的转变，指出卷积层源于平移不变性和局部性的原则，减少了存储需求。在 MLP 中，36M 个输入元素与 100 个神经元连接导致巨大的存储开销，而卷积层通过将权重从二维扩展到四维，如高(h)和宽(w)，实现了更高效的计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MLP单隐藏层需要存储36亿个元素

36M个特征——输入有3600万个元素

hidden-size为100 神经元——权重：100*3600万=36亿=14GB

从全连接层出发运用这两个原则（平移不变性、局部性）得到卷积（卷积是特殊的全连接层）

权重由2维变成了4维，hij是两个维度上的求和

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_42310607

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

李沐机器学习系列4---全连接层到卷积

weixin_43485943的博客

01-04

1113

从概率分布的角度来看卷积的定义,fτ是概率密度，gt−τ是在这个分布下的均值f∗gt∫−∞∞fτgt−τdτ。

李沐——卷积层

qq_44698709的博客

07-04

466

在以往的全连接层，输入是一个n维向量，但是在隐藏层我们输出的是k维，二者并没有关系。这一操作使用矩阵w来实现，可以理解为w改变了x的形状那么我们考虑二维输入k*l，在隐藏层我们会用W改变Xk*l变成Hi*j，我们确实无法理解高维，但是在这里我们可以思考一个矩阵，Wijkl。它施加的变换能使X_k*l变成H_i*j。这里我们使用类比推理的思想，k*l理解为原来的输入n。这就用了简单的换元：k=i+a，A对于CNN，我们不希望x变化时，V也跟着变化，V可以理解为分类器，我的x不管在哪，v都会感知它，也就是说一

参与评论您还未登录，请先登录后发表或查看评论

李沐之卷积层

m0_51133942的博客

01-09

1204

这里说的意思应该是，譬如我的v是一个找猫猫的特征器，这个识别猫特征器不会因为图片中猫藏的位置不一样而变化。对于图片中的每一个像素，全连接的权重矩阵都应该是不同的，因此v是4阶张量，而这里的平移不变性是指对于每个像素来说，所乘的权重矩阵（也就是kernel）应该是相同的，与位置(i, j)无关。卷积就是一个特殊的全连接层，首先变形成矩阵是因为我们需要空间的信息，之前的输入的长度到输出的长度变换，现在增加了高和宽。如果一个系统输入是不稳定的，而输出是稳定的，我们就可以用卷积求系统的存量。

李沐《动手学》-卷积层

qq_36136196的博客

07-10

430

目录1.问题引出平移不变性和局部性2.卷积层3.代码实现3.1互相关运算3.2自定义实现卷积层3.3边缘检测3.3自定义实现检测4.QA 1.问题引出图像像素过大（上亿像素），MLP参数过大，存储难，运算也难。平移不变性和局部性例子：图片中的这个人不论在图片中的任意位置，都应该被我们的分类器所找到，这就是平移不变性，另外，找这个人也不需要看全部图片，指要看附近就好了，这是局部性。下边仍然是在全连接层上进行思考，只是把维度扩充了。把原来的一维变为2维（所以2维变成了4维）原则1：平移不变性的理

【动手学深度学习】李沐——卷积神经网络

FavoriteStar的博客

10-26

2235

关于李沐老师的【动手学深度学习】课程其中的卷积神经网络章节的学习记录，包括完整代码的解释及个人见解。

李沐21_卷积层多输入多输出通道——自学笔记

Rrrrrr900的博客

04-09

396

1.输出通道数是卷积层的超参数。2.每个输入通道有独立的二维卷积核，所有通道结果相加得到一个输出通道结果。3.每个输出通道有独立的三维卷积核。

李沐动手学深度学习-学习笔记

最新发布

03-15

例如，卷积神经网络（CNN）在图像识别领域的应用，学习者将通过笔记学习到CNN的结构、卷积层、池化层等关键组件，以及如何利用CNN处理图像数据，实现图像分类、目标检测等功能。循环神经网络（RNN）及其变种，如长短...

李沐笔记（NiN）

qq_42310607的博客

12-04

1260

1*1的卷积层相当于全连接层 import torch from torch import nn from d2l import torch as d2l # NiN块 def nin_block(in_channels,out_channels,kernel_size,strides,padding): return nn.Sequential(nn.Conv2d(in_channels,out_channels,kernel_size,strides,pad...

李沐大神动手学深度学习——学习笔记（不定期连载）

一个苦逼研究僧的博客

11-06

2031

李沐动手学深度学习，代码技巧，相关问题，学习记录

李沐动手学视频笔记-19卷积层

a_145133的博客

12-16

264

图片分类两个原则：平移不变性（识别器不会因为像素位置而发生改变），局部性（不需要看到完整部分，只要看部分）

李沐_动手学深度学习第5章卷积神经网络_笔记

qq_48278620的博客

10-20

2172

李沐_动手学深度学习第5章卷积神经网络_笔记

李沐--＞卷积神经网络

qq_45268781的博客

10-28

813

卷积是我们学习深度学习最重要的概念之一，看一下卷积的基本知识。我们从一个很简单的例子出发：一个猫和狗的图片分类问题：假设我们用手机拍摄了一张1200万像素的彩色图片，则这张图片上会有3600万个元素。然后我们用一个100个大小的单隐藏层的MLP来训练，则这个模型会有36亿个元素，而这个数字远远多于世界上猫和狗的数量。那还不如直接记住所有的猫和狗咧。所以，当我们使用MLP来处理比较大的图片的时候，就会遇到这种问题，那我们改怎么解决这个问题呢？

动手学PyTorch（李沐）11 ---- 卷积层

qq_46381729的博客

09-17

251

卷积层的一个简单应用，检测图像中不同颜色的边缘。1代表白变黑，-1代表黑变白。卷积核k只能检测垂直边缘。设置高度和宽度的步幅为2。在所有侧边填充1各像素。所学卷积核的权重张量。填充不同的高度和宽度。

学习笔记-李沐动手学深度学习（七）（19-21，卷积层、填充padding、步幅stride、多输入多输出通道）

ljmiiianng的博客

02-27

1575

全程中核是不变的（即平移不变形）【二维卷积层】用卷积核去扫描时，丢掉的内容就是 (kh - 1) x （kw - 1）下图中五角星即为上节定义的二维交叉相关操作子；W和b都是可以学习的参数【举例】弹幕说：卷积核肯定是自己学，因为卷积核中每个元素都代表一个weight。

【深入浅出学习笔记】李沐《动手学深度学习2.0》之卷积神经网络基础

程序员龙一

10-12

1978

本文主要是学习李沐：动手学深度学习2.0在线课程的笔记。

李沐-动手学深度学习笔记-卷积神经网络

东方

09-27

816

李沐《动手学深度学习》卷积神经网络 经典网络模型

weixin_47748259的博客

01-27

2857

DenseBlock中的非线性组合函数采用的是BN+ReLU+3x3Conv的结构。

李沐pytorch学习-卷积网络及其实现

qq_26545507的博客

08-19

1831

卷积计算过程如图1所示，即输入矩阵和核函数对应的位置相乘，然后相加得到输出对应位置的数。卷积计算过程该过程可以形象地从图2中展现。二维卷积示意图。

李沐动手学深度学习V2-全卷积网络FCN和代码实现

flyingluohaipeng的博客

06-12

2200

语义分割是对图像中的每个像素分类，全卷积网络（fully convolutional network，FCN）采用卷积神经网络实现了从图像像素到像素类别的变换，与前面在图像分类或目标检测部分介绍的卷积神经网络不同，全卷积网络通过转置卷积层将中间层特征图的高和宽变换回输入图像的尺寸，因此输出的类别预测与输入图像在像素级别上具有一一对应关系：通道维的输出即该位置对应像素的类别预测。如下图所示为全卷积网络模型最基本的设计，全卷积网络先使用卷积神经网络抽取图像特征，然后通过 1×1 卷积层将通道数变换为类别个数（

李沐pytorch笔记

08-27

你是在询问关于李沐在PyTorch方面的笔记吗？很抱歉，我并不能直接提供李沐的笔记。不过，李沐是一位非常知名的人工智能领域专家，他在PyTorch社区中扮演了重要角色，并撰写了许多与PyTorch相关的教程和指南。你可以...