深度学习笔记014：NiN

深度学习模型参数优化：卷积层与全连接层的参数数量对比
最新推荐文章于 2025-05-30 17:31:43 发布
原创 最新推荐文章于 2025-05-30 17:31:43 发布 · 84 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客探讨了卷积层与全连接层在深度学习模型中参数数量的差异，指出卷积层参数由输入通道、输出通道和窗口尺寸决定，而全连接层参数则依赖于输入和输出像素数。参数过多可能导致过拟合，影响模型泛化能力。因此，合理调整模型结构和参数数量对于防止过拟合至关重要。

在这里插入图片描述
在这里插入图片描述
卷积层需要的参数为：输入的通道数×输出的通道数×窗口的长×窗口的宽全连接层需要更多的参数：输入的像素数×输出的像素数上边还给出了卷积到全连接的参数个数卷积层需要的参数为：输入的通道数×输出的通道数×窗口的长×窗口的宽\\ 全连接层需要更多的参数：输入的像素数×输出的像素数\\ 上边还给出了卷积到全连接的参数个数卷积层需要的参数为：输入的通道数×输出的通道数×窗口的长×窗口的宽全连接层需要更多的参数：输入的像素数×输出的像素数上边还给出了卷积到全连接的参数个数
参数过多还会导致过拟合参数过多还会导致过拟合参数过多还会导致过拟合

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

李沐深度学习笔记———NiN，GoogLeNet，ResNet
m0_52420323的博客
07-03 1195
摘要：深度学习，残差网络
动手学深度学习 PyTorch版 李沐 视频笔记
weixin_45729566的博客
08-06 659
04 数据操作+数据预处理。
动手学深度学习笔记
pi_kaqiu的博客
12-04 1587
简写：i —— 预测的类别；o —— 置信度；σ —— 激活函数；H —— 隐藏层输出超参数：学习率η，batchsize，epoch，num_workers，隐藏层数，每层隐藏层大小，正则项λ（控制模型容量），丢弃概率，核矩阵大小，填充，步幅，输出通道数；常用损失函数：1）回归：L2损失，L1损失，Huber's Robust Loss（前两者的结合）；2）分类：交叉熵常用激活函数：sigmoid函数；Tanh函数；
【李沐】动手学深度学习 学习笔记
热门推荐
chenxiaowai_的博客
03-21 3万+
你好！这是【李沐】动手学深度学习v2-基于pytorch版本的学习笔记教材源代码安装教程（安装pytorch不要用pip，改成conda，pip太慢了，下载不下来）个人推荐学习学习笔记本节代码文件在源代码文件的chapter_deep-learning-computation/custom-layer.ipynb中不带参数的层下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。让我们向该层提供一些数据，验证它是否能按预期工作。带参数的层。
深度学习——NiN网络模型（笔记）
jbkjhji的博客
12-08 972
网络中的网络（NiN）1.全连接层的问题：参数多，容易过拟合。 ①卷积层需要的参数较少 ②卷积层后第一个全连接层参数对比参数过多带来的问题：1.占内存 2.占用计算的带宽多3.容易过拟合2.NiN为了解决全连接层参数过多的问题，NiN的思想是不使用全连接层（使用1*1卷积代替）①一个卷积层后跟着两个1*1的卷积层②步幅为1，无填充，输出形状跟卷积层输出一样③起到全连接层的作用 3.NiN的架构 ①没有全连接层②交替使用NiN块和步幅为2的最大池化层，逐步减小高宽和增大通道数③最后使用全局平均池化层得到输出，
【自用】深度学习笔记（动手学深度学习PyTorch版）
qq_64032044的博客
05-29 1174
持续更新
深度学习复习笔记
最新发布
m0_73202283的博客
05-30 540
其中d代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配。margin为设定的阈值，这种损失函数主要是用在降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。CondenseNet的剪枝并不是直接将这个特征删除，而是通过掩码的形式将被剪枝的特征置0，因此在训练的过程中CondenseNet的时间并没有减少，反而会需要更多的显存用来保存掩码。
深度学习 —— 个人学习笔记12（VGG、NiN）
Springer的博客
08-05 389
‌  LeNet、AlexNet 和 VGG 都有一个共同的设计模式：通过一系列的卷积层与汇聚层来提取空间结构特征；然后通过全连接层对特征的表征进行处理。或者，可以想象在这个过程的早期使用全连接层。然而，如果使用了全连接层，可能会完全放弃表征的空间结构。网络中的网络（ NiN ）提供了一个非常简单的解决方案：在每个像素的通道上分别使用多层感知机。本文章为个人学习使用，版面观感若有不适请谅解，文中知识仅代表个人观点，若出现错误，欢迎各位批评指正。文中部分知识参考：B 站 —— 跟李沐学AI；
深度学习笔记其六：现代卷积神经网络和PYTORCH
泠山的博客
09-04 2283
上一章我们介绍了卷积神经网络的基本原理，本章我们将带你了解现代的卷积神经网络架构，许多现代卷积神经网络的研究都是建立在这一章的基础上的。在本章中的每一个模型都曾一度占据主导地位，其中许多模型都是ImageNet竞赛的优胜者。ImageNet竞赛自2010年以来，一直是计算机视觉中监督学习进展的指向标。1×1虽然深度神经网络的概念非常简单——将神经网络堆叠在一起。但由于不同的网络架构和超参数选择，这些神经网络的性能会发生很大变化。
深度学习笔记04：卷积神经网络基础与经典模型
在深度学习领域，卷积神经网络（CNN）是一种特别适用于图像处理的模型，它的设计灵感来源于生物视觉系统。以下是对这些核心概念的详细解释： 1. **二维互相关运算**：这是CNN的基础运算，类似于卷积，但不完全相同...
个人学习笔记6-1：动手学深度学习pytorch版-李沐
浪子L的博客
09-08 1716
主要记录学习笔记，学习书目为李沐老师的《动手学习深度学习》 重预备知识开始记录。 开源书籍地址：https://zh-v2.d2l.ai/chapter_preface/index.htmll 李沐老师B站视频：https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497
《动手学深度学习》学习笔记
欢迎来到三水编程的博客
01-11 2588
本文首先介绍了深度学习的基础知识，包括线性回归、多层感知机、卷积神经网络、循环神经网络的基本原理，在其基础上讲解网络优化算法进一步优化网络和自定义网络实现自己的网络。然后介绍深度学习的应用，具体包括单发多框目标检测、语义分割、风格迁移、中英文翻译系统。最后总结我对本课程学习的心得体会和建议。
Diffusion扩散模型简述 + 代码demo
ResumeProject的博客
06-01 1万+
扩散模型是一种生成模型 GAN FLOW VAE 需要用到的概率事实： 条件概率 马尔科夫链的转移公式 高斯分布的KL散度公式 KL(P,Q)=logσ2σ1+σ2+(μ1−μ2)22σ22−12(其中P.Q为一维高斯分布) KL(P,Q)=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma^2+(\mu_1-\mu_2)^2}{2\sigma_2^2} -\frac12 { \tiny(其中P.Q为一维高斯分布)}KL(P,Q)=logσ1​σ2​​+2σ22​σ2+(μ
yolov5 80个类别对照表
ResumeProject的博客
10-30 8034
yolov5 80个类别对照表
pytorch Stream 多流处理
ResumeProject的博客
08-08 7161
在PyTorch中，默认情况下，GPU上的操作是在默认流（default stream）中执行的。默认流是一个序列化的流，其中的操作按照它们出现的顺序逐个执行。这意味着在没有显式指定其他流的情况下，所有的操作都会在默认流中执行。[JIT] 在 TorchScript 中支持 CUDA 流 https://github.com/pytorch/pytorch/issues/41355。然而，PyTorch还提供了功能可以将操作提交到其他流中执行，以充分利用GPU的并行性。来创建其他流，并使用。
WideResNet(宽残差网络)介绍与代码
ResumeProject的博客
01-10 6826
《Wide Residual Networks》        深度残差网络被证明能够扩展到数千层并且仍然具有改进的性能。然而，每提高== 1%== 的准确率都会使层数增加近一倍，因此训练非常深的残差网络存在特征重用减少的问题，这使得这些网络的训练速度非常慢。为了解决这些问题，在本文中，我们对 ResNet 块的架构进行了详细的实验研究，在此基础上我们提出了一种新颖的架构，我们减少了深度和增加残差网络的宽度。我们将由此产生的网络结构称为宽
多模态：指代图像分割
ResumeProject的博客
04-12 6066
指代图像分割         指代图像分割的目的是通过一个自然的语言表达来分割指代物。由于文本和图像之间的不同数据属性，网络很难很好地对齐文本和像素级的特征。         现有的方法使用预训练模型来促进学习，但将语言/视觉知识从预训练模型中分离出来，忽略了多模态对应信息。受对比语言图像预训练（CLIP）的启发，本文提出了一种端到端CLIP驱动的参
模型可视化工具 torchinfo 计算每层输出的Output Shape
ResumeProject的博客
06-07 6049
官方文档 https://www.cnpython.com/pypi/torchinfo 之前的方法总是print(model)，或者在debug的时候去取值，但是在pip install torchinfo ，可以很方便的查看网络中的信息： # 官方的例子 from torchinfo import summary import torchvision model = torchvision.models.resnet152() summary(model, (1, 3, 224, 224), dept
docker 中使用gpu
ResumeProject的博客
03-12 5140
如果没有正确配置会报错：could not select device driver “” with capabilities: [[gpu]].
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值