Day 44 预训练模型

最新推荐文章于 2025-12-09 20:01:58 发布
原创 最新推荐文章于 2025-12-09 20:01:58 发布 · 850 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

@浙大疏锦行

知识点回顾：
  1. 预训练的概念
  2. 常见的分类预训练模型
  3. 图像预训练模型的发展史
  4. 预训练的策略
  5. 预训练代码实战：resnet18

作业：

  1. 尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同
  2. 尝试通过ctrl进入resnet的内部，观察残差究竟是什么

一、预训练的概念

因为准确率最开始随着epoch的增加而增加，随着循环的更新，参数在不断发生更新

所以参数的初始值对训练结果有很大的影响：如果最开始的初始值比较好，后续训练的轮数就会少很多，不同的初始值可能会导致陷入不同的局部最优解

所以如果最开始能有比较好的参数，即可能导致未来训练次数少，也可能导致未来训练避免陷入局部最优解的问题。由此引出预训练模型。

1. 那为什么要选择类似任务的数据集预训练的模型参数呢？

因为任务差不多，他提取特征的能力才有用，如果任务相差太大，他的特征提取能力就没那么好。

所以本质预训练就是拿别人已经具备的通用特征提取能力来接着强化能力使之更加适应我们的数据集和任务。

2. 为什么要求预训练模型是在大规模数据集上训练的，小规模不行么？

因为提取的是通用特征，所以如果数据集数据少、尺寸小，就很难支撑复杂任务学习通用的数据特征。比如你是一个物理的博士，让你去做小学数学题，很快就能上手；但是你是一个小学数学速算高手，让你做物理博士的课题，就很困难。所以预训练模型一般就挺强的。

我们把用预训练模型的参数，然后接着在自己数据集上训练来调整该参数的过程叫做微调，这种思想叫做迁移学习。把预训练的过程叫做上游任务，把微调的过程叫做下游任务。

这里给大家介绍一个常常用来做预训练的数据集，ImageNet，ImageNet 1000 个类别，有 1.2 亿张图像，尺寸 224x224，数据集大小 1.4G，下载地址：http://www.image-net.org/。

二、经典的预训练模型

三、常见的分类预训练模型介绍

最低0.47元/天 解锁文章
day44 预训练模型
weixin_68674900的博客
06-27 756
上图的层数，代表该模型不同的版本resnet有resnet18、resnet50、resnet152；efficientnet有efficientnet-b0、efficientnet-b1、efficientnet-b2、efficientnet-b3、efficientnet-b4等。
DAY 44 预训练模型
weixin_59002083的博客
08-15 923
模型年份提出团队关键创新点层数变体参数量范围ImageNet Top-5错误率典型应用场景预训练权重支持LeNet-51998Yann LeCun等首个CNN架构，卷积+池化+全连接7层~60KN/A手写数字识别(MNIST)无AlexNet2012Alex Krizhevsky等ReLU/Dropout/数据增强/多GPU训练8层60M15.3%大规模图像分类PyTorch/TF官方支持VGGNet2014Oxford VGG。
DAY44 预训练模型
janedeer的博客
08-15 816
模型年份提出团队关键创新点层数参数量ImageNet Top-5错误率典型应用场景预训练权重可用性LeNet-51998Yann LeCun等首个CNN架构，卷积层+池化层+全连接层，Sigmoid激活函数7~60KN/A手写数字识别（MNIST）无（历史模型）AlexNet2012Alex Krizhevsky等ReLU激活函数、Dropout、数据增强、GPU训练860M15.3%大规模图像分类PyTorch/TensorFlow官方支持VGGNet。
Day44 预训练模型
2501_91906624的博客
06-27 1114
在残差块中，残差（Residual）被明确定义为主路径的输出 F (x)。普通神经网络中，每一层学习的是 “输入到输出的完整映射”，即假设输出为 H (x)，则层的目标是学习 H (x)；而 ResNet 中，残差块的输出被设计为，因此主路径需要学习的是—— 这里的 F (x) 就是 “残差”，即 “输出与输入的差异”。ResNet 中的残差（F (x)）是主路径对输入特征的 “调整量”，残差块通过 “输入 + 残差” 的方式，让网络既能保留有效特征，又能灵活修正特征。
python打卡 DAY 44 预训练模型
2301_76970300的博客
06-27 1353
核心优势迁移学习：将通用特征知识迁移到新任务数据效率：减少对标注数据量的需求性能提升：通常优于从零训练的模型# 匹配预训练模型的预处理preprocess = weights.transforms() # 自动获取正确的预处理# 应用到数据集。
Python打卡Day44 预训练模型
2501_91037531的博客
08-17 1121
模型年份提出团队关键创新点层数参数量ImageNet Top-5错误率典型应用场景预训练权重可用性LeNet-51998Yann LeCun等首个CNN架构，卷积层+池化层+全连接层，Sigmoid激活函数7~60KN/A手写数字识别（MNIST）无（历史模型）AlexNet2012Alex Krizhevsky等ReLU激活函数、Dropout、数据增强、GPU训练860M15.3%大规模图像分类PyTorch/TensorFlow官方支持VGGNet。
8.17打卡 DAY 44 预训练模型
m0_60476116的博客
08-17 926
这并非由过拟合导致，而是因为深度网络极难训练，尤其是梯度在反向传播时逐层衰减，导致深层网络的参数无法有效更新（即。我们可以直接利用这个训练好的模型的网络结构和权重参数，作为我们自己任务的起点。通过利用预训练模型，我们可以用更少的时间和数据，训练出性能更优的模型。这就引出了一个自然的想法：如果我们能用一组“更好”的初始参数来开始训练，不仅能加速训练，还可能获得更好的结果。：这是一个评估指标，指模型预测的概率最高的5个类别中，不包含正确答案的概率。在之前的训练中，我们模型的参数通常是随机初始化的。
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 242
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
深度学习1.4-pytorch安装
诚朴勇毅
12-05 121
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
云雾J视界的博客
12-04 973
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
Transformer 能否取代 CNN？图像去噪中的新范式探索
dream_it_come_in的博客
12-08 777
引言：一场视觉任务的范式之争自 2017 年 Transformer 诞生以来，这场最初为自然语言处理设计的架构，正以不可阻挡的势头冲击计算机视觉领域。从 ViT 打破 CNN 在图像分类的垄断，到 Swin Transformer 横扫分割、检测任务，“Transformer 能否取代 CNN” 成为业界持续争论的焦点。而在图像去噪这一基础任务中，这一争论更具现实意义 ——CNN 凭借局部建模优势长期占据主导，Transformer 则以全局注意力机制带来新可能。
2026年人机交互、神经网络与深度学习国际学术会议
最新发布
2503_93659005的博客
12-09 547
2026年1月9-11日，人机交互与深度学习国际会议将在上海举行。会议聚焦HCI与深度学习的融合技术体系，涵盖感知层（语音/视觉/体感交互）、建模层（用户行为预测）和交互层（自然语言/VR/AR）三大维度。征稿主题包括基于CNN的手势识别、Transformer意图理解和LSTM情感化交互等前沿技术。会议官网：https://ais.cn/u/vEZvAr，欢迎学界业界人士投稿参会，共同探讨智能交互技术发展与国际合作机遇。
【风电功率预测服务】如何让风电场 nRMSE 再降 1%？——基于多源气象 + 深度学习的实战方案
专注AI大模型,软件混淆,授权
12-09 91
风电功率预测精度提升1%可带来显著经济效益。针对现有预测系统瓶颈，提出"多源气象+深度学习"的残差修正方案：通过融合多模式气象数据和SCADA信息，采用STL/VMD分解将误差拆分为多尺度分量，分别用Informer处理长期天气趋势、CNN-BiLSTM处理短期波动。实践表明，该方法可使200MW风电场nRMSE降低1-1.5个百分点，年节省考核费用达数十万元。该方案可作为预测服务提供，在不推翻现有系统基础上实现精度突破。
卷积神经网络（CNN）详细介绍及其原理详解（2）
renjt01的博客
12-05 158
卷积神经网络（CNN）详细介绍及其原理详解（2） 四、池化层 五、全连接层 六、输出层 #人工智能#具身智能#VLA#大模型#AI#LLM#Transformer 架构#AI技术前沿#Agent大模型#工信部证书#人工智能证书#职业证书
（论文速读）基于深度学习的高稀疏Lamb波场复合材料损伤有效识别方法
LJ1147517021的博客
12-09 554
一种基于深度学习的空间梯度重建方法，用于高效识别高稀疏Lamb波场复合材料损伤。针对碳纤维增强塑料(CFRP)中肉眼难以察觉的分层损伤，以及扫描激光多普勒测振仪(SLDV)测量耗时的问题，该方法通过新型空间梯度损伤指标和神经网络技术实现了显著改进。采用交叉注意技术将浅层特征直接注入解码器，增强异常检测能力，并集成多重建层指导波场重建过程。实验表明，该方法重建精度较现有技术大幅提升，单损伤情况下从70%增至92%，多损伤情况下从14%增至72%。通过空间协方差分析验证了其在不同损伤位置的适用性。
深度学习1.2-软件篇-Anaconda软件常见命令与使用
诚朴勇毅
12-05 387
导出的.yml文件可以共享给团队成员，确保环境一致性。假如拷贝至默认为D:\Anaconda3\envs\myenv\（可修改）。激活环境后使用pip安装的包会自动添加到当前的conda环境中。win+R可以打开windows系统的命令行。配置为国内清华大学的源下载速度会比较快。
【Tensorflow】基于卷积神经网络(CNN)交通标志图像识别系统（完整系统源码+数据库+开发笔记+详细部署教程+启动教程）✅
qq_64605578的博客
12-09 395
本文介绍了一个基于卷积神经网络(CNN)的交通标志识别系统。该系统采用ResNet、EfficientNet等先进网络架构，结合数据增强技术，实现对限速标志、警告标志等各类交通标志的高效识别，目标准确率达95%以上。系统具备用户管理、标志检索、实时识别、数据分析等功能，并采用模型轻量化技术优化性能。数据库设计包含用户信息、交通标志数据和评论反馈等表结构。项目整合了TensorFlow/PyTorch深度学习框架和计算机视觉算法，为智能交通和自动驾驶应用提供技术支持。
手撕 LSTM：用 NumPy 从零实现 LSTM 前向传播
weixin_49520696的博客
12-05 1104
LSTM（Long Short-Term Memory）是深度学习中处理序列数据的经典模型。虽然现在 Transformer 风头正盛，但 LSTM 仍然是理解序列建模的基石，面试中也是常客。很多人用 PyTorch 的nn.LSTMLSTM 内部到底有几个门？每个门的作用是什么？权重矩阵的形状是怎样的？为什么是这个形状？遗忘门和输入门是怎么配合工作的？可能就答不上来了。本文将带你用 NumPy 手撕 LSTM 的前向传播过程，并与 PyTorch 的结果进行对比验证。
day2night预训练模型
01-30
### 寻找 Day2Night 预训练模型 对于图像处理或计算机视觉项目中的 day2night 转换需求，可以考虑使用基于 GAN (Generative Adversarial Networks) 的方法来实现这一目标。这些模型能够学习白天和夜晚场景之间的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值