李沐-19 卷积层【动手学深度学习v2】

原创 已于 2024-04-26 14:10:22 修改 · 314 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2024-04-17 17:38:18 首次发布

一、记录下关于权重下标变换的理解

从原来的Wi,j到Wi,j,k,l是从二维到四维的过程，如下图所示

 

对全连接层使用平移不变性(如：卷积核在移动过程是不变的)和局部性（如：卷积核有一定大小）得到卷积层，这是卷积层的引入，下方Vi,j,a,b--->Va,b表示了平移不变性，给a,b限制在|\Delta|内保证了局部性：

二、维度变换公式

动手学深度学习V2.0(Pytorch)——19.卷积
啷个哩个啷
12-09 2582
P1 从全连接层到卷积 https://www.bilibili.com/video/BV1L64y1m7Nh 假设有一个还不错的手机，拍出来一张图片（比如iphone11的后置摄像头，就是双摄：1200 万像素广角及超广角，来自iphone11技术规格）。那么一张照片至少12M（Million 百万），如果是RGB图的话就是36M？？？ 如果使用一个有100个神经元的单隐藏层的MLP，考虑一下，y=wx+by=wx+by=wx+b，这里x=36M∗1x=36M*1x=36M∗1，则w=100∗36M=
4.9.2 ResNet 实现服饰分类——tensorflow实战CNN
炫云云
04-08 626
欢迎感兴趣的伙伴点个赞，关注不迷路！你的支持是我前进的动力！ 感谢你的阅读，专栏文章持续更新！ 🥝🥝CNN结构演进 🥝🥝深度卷积神经网络（ResNet） 🍇🍇残差块——Residual bloack 🍇🍇残差网络 🍇🍇ResNet v2 🍋🍋论恒等跳过连接的重要性 🍇🍇残差块的 tensorflow2 实现 🍇🍇ResNet50 搭建 🍇🍇ResNet18、34模型 🍋🍋残差块 🍋🍋ResNet18、34搭建 🥝🥝Fashion-MNIST分类 🍄🍄te
【动手学深度学习v2】卷积层，一维，二维，四维的维度问题探讨，为什么V是W的重新索引？平移不变性和局部性原理如何理解？——李沐老师的课程笔记
laownb的博客
09-06 1078
深度学习，从零实现多层感知机——李沐老师的课程笔记对于深度学习，非常推荐李沐老师的课程，受益匪浅课程视频这里对老师的讲解做一些注释，希望大家可以更好理解这里面的意思没有基础不知道软件如何安装的可以看若有差错，请与我联系探讨。
李沐机器学习系列4---全连接层到卷积
降低学习速度，提高学习效率的地方
01-04 1207
从概率分布的角度来看卷积的定义,fτ是概率密度，gt−τ是在这个分布下的均值f∗gt∫−∞∞​fτgt−τdτ。
学习笔记-李沐动手学深度学习（七）（19-21，卷积层、填充padding、步幅stride、多输入多输出通道）
ljmiiianng的博客
02-27 1906
全程中 核是不变的（即平移不变形）【二维卷积层】用卷积核去扫描时，丢掉的内容就是 (kh - 1) x （kw - 1）下图中 五角星 即为 上节定义的二维交叉相关操作子；W和b都是可以学习的参数【举例】弹幕说：卷积核肯定是自己学，因为卷积核中每个元素都代表一个weight。
跟李沐学AI-19 卷积层
2302_79772492的博客
11-22 134
【代码】跟李沐学AI-19 卷积层。
动手学深度学习（李沐）PyTorch 第 6 章 卷积神经网络
m0_51448653的博客
10-01 1458
通过下面的LeNet代码，可以看出用深度学习框架实现此类模型非常简单。我们只需要实例化一个Sequential块并将需要的层连接在一起。
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 3万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
【动手学深度学习v2】李沐课程19-22卷积神经网络总结
qq_53879585的博客
03-08 1910
李老师在举识别“猫”的例子，说明每个卷积核可以学习提取输入数据中的某种特定特征，最底层卷积识别一些边缘的纹理得到多个不同的输出通道，这些输出再继续作为下一个层输入，分别去识别猫胡须的纹理、耳朵的纹理等等，将这些纹理组合起来，再往下一层卷积走，某个通道识别猫头，某个通道识别猫眼，那最后一层输出就是所有东西组合起来识别出一只猫。不同的是，池化层没有可学习的参数（比如卷积核），在每个输入通道应用池化层以获得相应的输出通道，它不会去融合多个通道，每一个通道做一次池化层，因此，输出通道数=输入通道数。
19 卷积层【李沐动手学深度学习v2课程笔记】
qq_53826699的博客
03-08 1433
在欧几里得几何中，平移是一种几何变换，表示把一幅图像或一个空间中的每一个点在相同方向移动相同距离。比如对图像分类任务来说，图像中的目标不管被移动到图片的哪个位置，得到的结果（标签）应该是相同的，这就是卷积神经网络中的平移不变性。卷积神经网络正是将空间不变性（spatial invariance）的这一概念系统化，从而基于这个模型使用较少的参数来学习有用的表示。，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。
李沐动手学深度学习v2/总结3
求道问术
10-05 1517
编码过程 线性回归训练过程 深度学习代码过程 逻辑回归 展平层 MLP简介实现过程 数据处理 概念 似然函数 常用优化算法 问题 trick/正则化（惩罚项） 权重衰退 丢弃法 xi′={0, probablity pxi1−p, otherwise x'_i= \begin{cases} 0,\ probablity\ p \\ \frac{x_i}{1-p},\ otherwise \end{cases} xi′​={0, probablity p1−pxi​​, otherwise​
跟李沐学AI-动手学深度学习-现代卷积神经网络
哇哈哈哈的博客
09-22 1626
AlexNet 深度学习之前最火的是机器学习： 特征提取。 选择核函数来计算相关性。 凸优化问题。 漂亮的定理。 计算机视觉方面之前关注的不是机器学习而是几何学： 抽取特征。 描述几何（例如多相机）， （非）凸优化。 漂亮定理。 假设满足了，效果很好。 在十几年前，计算机视觉中最重要的是特征工程： 特征工程是关键。 特征描述子：SIFT，SURF。 视觉词袋（聚类）。 最后用 SVM。 数据集ImageNet(2010)：自然物体的彩色图片。 AlexNet赢得了2012年ImageNet竞赛。
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 4135
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
Day 45 简单CNN@浙大疏锦行
qq_35619695的博客
12-22 559
探究修改卷积神经网络（CNN）的深度与宽度，以及改变学习率调度器对模型训练效果的影响。
【深度学习】Mask R-CNN在温室番茄成熟度检测中的应用——基于ResNet18与FPN的多级特征融合分类系统
Lun3866buzha的博客
12-18 695
本文提出了一种基于改进Mask R-CNN的温室番茄成熟度检测系统，通过结合ResNet18骨干网络和FPN多级特征融合技术，实现了对不同成熟度番茄的高精度识别。系统采用5000张标注图像进行训练，通过数据增强提高模型鲁棒性，最终在测试集上达到92.3%的准确率和89.7%的mAP。实际部署采用边缘计算设备，处理速度达20FPS，显著提升了番茄采摘效率。实验表明，该系统在复杂光照条件下表现稳定，为智能农业提供了有效的技术解决方案。
入门篇--人工智能发展史-4-点燃深度学习革命的那把火，AlexNet
weisian的博客
12-20 888
摘要： AlexNet（2012）是深度学习革命的里程碑模型，以15.3%的错误率横扫ImageNet竞赛，比传统方法提升10个百分点。其成功源于三大突破：1）ReLU激活函数解决深层网络梯度消失问题；2）GPU并行训练将训练时间从数周缩短至5-6天；3）Dropout正则化防止过拟合。该模型奠定了现代CNN的“卷积+池化+全连接”范式，推动GPU成为AI基础设施，并验证了“数据+算力+算法”的铁三角逻辑。AlexNet直接引爆了全球深度学习热潮，其设计思想至今仍是计算机视觉的基石。
【深度学习】 循环神经网络
PANSS__的博客
12-22 586
RNN。
一、RNN基本概念与数学原理
最新发布
m0_54291751的博客
12-22 400
维度匹配：注意PyTorch中RNN的输入输出维度要求隐藏状态管理：正确初始化和传递隐藏状态序列长度：合理选择序列长度平衡效果和效率梯度处理：使用梯度裁剪防止梯度爆炸。
李沐动手学深度学习 v2-pytorch
07-11
《动手学深度学习》（第二版）是由李沐等人编写的经典教材，全面介绍了深度学习的基础理论与实践方法。该书提供了基于PyTorch的代码实现版本，便于读者在实际操作中掌握深度学习模型的构建和训练过程。 ### PyTorch教程概述 书中针对PyTorch框架的使用进行了详细讲解，内容涵盖了从环境搭建、张量操作到神经网络模型定义等关键环节。通过配套的代码示例，可以快速上手并理解如何利用PyTorch进行深度学习开发。例如，书中展示了如何使用`torch.nn`模块来构建线性层和激活函数组成的简单网络： ```python import torch from torch import nn net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 1)) X = torch.rand(size=(2, 4)) output = net(X) ``` 此代码片段演示了创建一个包含两个全连接层和一个ReLU激活函数的序列模型，并对随机生成的数据执行前向传播计算[^4]。 ### 数据加载与处理 为了更好地进行模型训练，《动手学深度学习》还介绍了数据加载的方法。例如，在时间序列任务中，可以通过以下方式加载数据集： ```python from d2l import torch as d2l batch_size, num_steps = 32, 35 train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps) ``` 上述代码利用了D2L库提供的工具函数，能够高效地读取文本数据并将其转换为适合输入模型的形式[^3]。 ### 模型训练与优化 书中进一步探讨了如何配置损失函数和优化器以完成模型训练。常见的选择包括均方误差损失（MSELoss）以及Adam优化算法。具体实现如下： ```python criterion = nn.MSELoss() optimizer = torch.optim.Adam(net.parameters(), lr=0.001) for epoch in range(num_epochs): for X, y in train_loader: outputs = net(X) loss = criterion(outputs, y) optimizer.zero_grad() loss.backward() optimizer.step() ``` 这段代码展示了典型的训练循环结构，其中包含了前向传播计算损失、反向传播更新权重参数等步骤。 ### 实用技巧与注意事项 - **动态计算图**：PyTorch采用动态计算图机制，使得调试更加直观且灵活。 - **内存管理**：合理控制批量大小（batch size），避免GPU显存溢出。 - **设备迁移**：确保模型和数据位于相同的设备上（CPU/GPU）以提高效率。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值