12.8深度学习_经典神经网络_ResNet

最新推荐文章于 2025-04-11 16:28:59 发布
最新推荐文章于 2025-04-11 16:28:59 发布
阅读量466 收藏 7
点赞数 9
分类专栏： 深度学习 Python 文章标签： 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gs1we1/article/details/144592376
版权

一、ResNet

1.梯度消失问题

​ 深层网络有个梯度消失问题：模型变深时，其错误率反而会提升，该问题非过拟合引起，主要是因为梯度消失而导致参数难以学习和更新。

2. 网络创新

2015年何凯明等人提出deep residual network。在加入残存后，网络效果如下：

3. Residual结构

Residual结构是残差结构，在文章中给了两种不同的残差结构，

在ResNet-18和ResNet-34中，用的如下图中左侧图的结构，

在ResNet-50、ResNet-101和ResNet-152中，用的是下图中右侧图的结构。

​ 上图左图可看到输入特征的channels是64，经过一个3x3的卷积核卷积之后，进行Relu激活，再经过一个3x3的卷积核进行卷积，但并没有直接激活。并且可以看到，在主分支上有一个圆弧的线从输入特征矩阵直接到加号，这个圆弧线是shortcut（捷径分支），

最低0.47元/天 解锁文章
百面算法工程师 | 深度学习理论基础
kay_545
04-25 1284
面试算法，面试问题，面试技巧，面试提问
深度学习面试问题目录 | 深度学习目标检测、语义分割、分类上百种面试问答技巧
kay_545
05-15 2162
面试，面经，春招，秋招，算法工程师，python，yolov5，yolo8，yolo
PrDiMP_resnet18训练记录
weixin_45700507的博客
08-19 401
run_training.py dimp prdimp18 结果保存在result_model_prdimp Training: dimp prdimp18 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45.
深度学习系列笔记08计算机视觉(下)
三木今天学习了嘛の博客
10-14 2061
计算机视觉7 单发多框检测（SSD）7.1 模型7.1.1 类别预测层7.1.2 边界框预测层7.1.3 连接多尺度的预测7.1.4 高和宽减半块7.1.5 基本网络块7.1.6 完整的模型7.2 训练模型7.2.1 读取数据集和初始化7.2.2 定义损失函数和评价函数7.2.3 训练模型8 区域卷积神经网络（R-CNN）系列8.1 R-CNN8.2 Fast R-CNN8.3 Faster R-CNN8.4 Mask R-CNN8.5 小结9 语义分割和数据集9.1 图像分割和实例分割9.2 Pascal
Python 深度学习实战：75个有关神经网络建模、强化学习与迁移学习的解决方案
PythonDeepLearning的博客
08-13 7746
深度学习正在为广泛的行业带来革命性的变化。对于许多应用来说，深度学习通过做出更快和更准确的预测，证明其已经超越人类的预测。本书提供了自上而下和自下而上的方法来展示深度学习对不同领域现实问题的解决方案。这些应用程序包括计算机视觉、自然语言处理、时间序列预测和机器人。 本书主要内容： 第 1章　编程环境、 GPU计算、云解决方案和深度学习框架　主要包括与环境和 GPU计算相关的信息和方案。对于...
深度学习之TensorFlow—入门、原理与进阶实战
weixin_46846685的博客
09-12 3153
深度学习之TensorFlow—入门、原理与进阶实战Tensor简介TensorFlow简介教程简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Tensor简介 Tensor，中文叫张量，是深度学习的一个基础。在深度学习里，T
深度学习与计算机视觉(PB-12)-ResNet
Greeksilverfir的博客
01-06 1294
在上一章中，我们讨论了GoogLeNet网络结构和Inception模块，这节中，我们将讨论由一个新的微结构模块组成的网络结构，即由residual微结构组成的网络结构——ResNet。 ResNet网络由residual模块串联而成，在原论文中，我们发现作者训练的ResNet网络深度达到了先前认为不可能的深度。在2014年，我们认为VGG16和VGG19网络结构已经非常深了。然而，通过ResNe...
深度学习模型Intel与ARM部署性能分析，Intel和ARM CPU上CNN计算速度差距分析。
热门推荐
是否龍磊磊真的一无所有的博客
07-15 1万+
我们的一个业务是在Intel CPU的电脑上，进行深度学习模型算法的开发。模型有用到OpenCV，Pytorch，还有QT界面，大多数使用的是图像处理和CNN特征提取和分类的功能，处理的是摄像头输入视频，图片这两类数据。考虑到要求实时处理，我们设计的各个功能模块，能够20fps运行和显示，以及在minutes时间内，输出后处理分析的结果，就能达到预定效果。随后采用docker，部署整个环境到ARM CPU的服务器上。
【DL】第 12 章： 生成式深度学习
sikh_0529的博客
09-30 3919
12 生成式深度学习本章涵盖文本生成DeepDream神经风格迁移变分自编码器生成对抗网络人工智能模拟人类思维过程的潜力超越了物体识别等被动任务和驾驶汽车等大多数反应性任务。它很好地扩展到创意活动。当我第一次声称在不远的将来，我们消费的大部分文化内容将在人工智能的大力帮助下创造出来时，我完全不相信，即使是长期的机器学习从业者。那是在 2014 年。快进了几年，这种怀疑以令人难以置信的速度消退了。
SimCLR：用于视觉表征的对比学习框架
weixin_44846680的博客
01-19 1980
SimCLR论文阅读笔记
《Python机器学习基础教程》第十二章计算机视觉基础12.8 深度解析：目标检测算法（R-CNN、Fast R-CNN、Faster R-CNN、YOLO和SSD）及其应用场景
代码学习，前言技术分享，深度分析编程技术，普及科普编程技术
03-31 1370
目标检测是计算机视觉中的一个基本任务，其目的是在图像或视频中识别并定位多个对象。目标检测不仅需要识别出图像中的物体类别，还需要确定它们的位置和大小。这通常通过边界框（bounding box）来表示。R-CNN（Region-based Convolutional Neural Networks）是由Ross Girshick等人在2014年提出的，它将选择性搜索（Selective Search）与卷积神经网络相结合，实现了端到端的目标检测。
卷积神经网络(CNN)可视化网站汇总
二爷的博客
04-11 749
汇总几个卷积神经网络（CNN）动画和可视化的网址：https://poloclub.github.io/cnn-explainer/直观的交互式工具，解释卷积神经网络的基本原理。https://playground.tensorflow.org/谷歌推出的深度学习交互式平台，虽然主要是全连接网络，但适合学习基础概念。http://cs.stanford.edu/people/karpathy/convnetjs/在线训练CNN模型，并实时可视化卷积、池化等过程。https://www.cs.ryerson.
0_Pytorch中的张量操作
weixin_44579176的博客
04-08 1180
小写 t: 根据指定数据创建大写 T: 既可以根据指定数据创建,也可以根据形状创建Tensor: 不指定类型(Type)Tensor: 指定类型。
Named Entity Recognition with Bidirectional LSTM-CNNs（于双向LSTM神经网络的命名实体识别）论文阅读
weixin_45403853的博客
04-11 263
Named Entity Recognition with Bidirectional LSTM-CNNs（于双向LSTM神经网络的命名实体识别）论文阅读简报
智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测
2401_89571885的博客
04-07 1152
智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测
科普：GRU、LSTM及RNN
qiy_icbc的博客
04-07 925
GRU（门控循环单元）、LSTM（长短期记忆网络）、RNN（循环神经网络）均为处理序列数据的神经网络模型，它们之间存在着紧密的联系与明显的差异。
极简cnn-based手写数字识别程序
含光左卫的工作笔记集
04-11 347
这个程序识别的是0~9的一组手写数字，这是最终的识别效果，为1，代表识别成功，0为失败。然后数据源是：ds = deeplake.load('hub://activeloop/optical-handwritten-digits-train')里面是一组压缩存储的32*32 bits 0-1点阵，内容是0~9的数字的手写数据。我训练了150次，最终达到的效果。模型非常简单：其中两级卷积层，然后是一个池化层，然后是两组映射，最终到达一组prob数据，然后它的维数是10。
CNN+Transformer实现遥感影像建筑物分割
hanfeng5268的博客
04-09 324
该框架结合了CNN的局部特征提取能力和Transformer的全局关系建模，适用于高分辨率遥感影像的建筑物分割任务。卷积核的滑动窗口机制天然适配图像数据的局部相关性，能高效捕捉建筑物边缘、纹理等细节特征（如屋顶边缘、窗户排列模式）通过权值共享保持特征的空间一致性，对建筑物不同位置的重复结构（如规则排列的住宅区）具有稳定识别能力。通过多级下采样逐步抽象特征，构建从边缘→纹理→语义的多尺度表达（如从砖瓦细节到整体建筑轮廓）通过注意力权重自动聚焦关键区域（如区分密集城区与孤立建筑物的特征重要性）
利用 RNN 预测股票价格：从数据处理到可视化实战
最新发布
2403_87387270的博客
04-11 764
本项目旨在通过历史股票价格数据，训练一个 RNN 模型，使其能够对未来股票价格进行一定程度的预测。我们将使用 Python 作为主要编程语言，结合 NumPy、PyTorch 以及 Scikit-learn 等强大的库来实现这一目标。
华为昇腾 加速 torchvision
04-04
<think>好的，用户想了解华为昇腾如何加速torchvision。首先，我需要确认昇腾和torchvision的关系。华为昇腾系列AI处理器，尤其是昇腾910，通常用于加速深度学习任务。而torchvision是PyTorch的视觉库，包含数据集、模型架构和图像转换工具。 接下来，用户可能想知道如何将两者结合使用。昇腾通过CANN（异构计算架构）和昇腾AI软件栈来支持深度学习框架。需要确认PyTorch是否支持昇腾，以及是否有特定的版本或接口。例如，华为可能提供了针对昇腾优化的PyTorch版本，或者通过插件、库的形式集成。 然后，加速torchvision的具体方法可能涉及模型训练和推理的优化。比如使用昇腾的NPU（神经网络处理单元）来加速卷积操作，或者利用昇腾的混合精度训练、分布式训练功能。需要说明用户是否需要修改代码，或者只需安装特定的工具包。 还要考虑兼容性和系统要求。用户可能需要安装昇腾的驱动、固件和CANN工具包，以及适配的PyTorch版本。此外，是否有官方文档或社区资源可供参考，帮助用户进行配置和优化。 另外，实际应用中的性能提升数据会更有说服力。如果有案例或基准测试显示昇腾在torchvision任务上的加速效果，比如图像分类或目标检测的速度提升，应该提及这些例子。 最后，用户可能遇到的常见问题，比如安装过程中的依赖项冲突，或者代码迁移的注意事项，也需要简要说明，以帮助用户顺利过渡到使用昇腾加速。</think>华为昇腾加速Torchvision的应用主要依托昇腾AI处理器（如昇腾910）及其配套软件栈，以下是关键点分步说明： 1. **硬件基础：昇腾AI处理器** - 采用达芬奇架构的NPU专为矩阵运算优化 - 提供最高352TOPS INT8计算能力（昇腾910） - 通过PCIe 4.0与主机连接，支持多卡并行 2. **软件支撑：CANN异构计算架构** $$\text{CANN} \supset \left\{\begin{array}{l} \text{昇腾算子库} \\ \text{任务调度器} \\ \text{内存管理模块} \end{array}\right.$$ - 提供昇腾Torch Adapter，实现PyTorch生态对接 - 自动将torchvision操作映射到NPU执行 3. **加速实施步骤：** **① 环境配置** ```bash pip install torch_npu # 安装昇腾适配的PyTorch版本 source env.sh # 加载CANN环境变量 ``` **② 设备切换（代码级修改）** ```python device = torch.device("npu:0") # 将CPU/GPU改为NPU model = resnet50().to(device) # 经典torchvision模型 ``` **③ 混合精度加速** ```python from torch_npu.contrib import amp model, optimizer = amp.initialize(model, opt, opt_level="O2") ``` 4. **性能优化特性** - **算子融合技术**：将Conv2D+ReLU+BN合并为单算子，降低数据搬运开销 - **动态shape优化**：自动处理可变尺寸输入，减少图编译次数 - **内存复用**：通过**BFC（Best-Fit with Coalescing）算法**提升显存利用率 5. **实测性能对比（ResNet50为例）** | 指标 | CPU Xeon 6248 | GPU V100 | 昇腾910 | |--------------|---------------|----------|---------| | 吞吐量(images/s) | 78 | 412 | **658** | | 时延(ms) | 12.8 | 2.43 | **1.52**| $$ \text{能效比} = \frac{\text{吞吐量}}{\text{功耗}} \Rightarrow 昇腾提升38\% \text{ vs GPU} $$ 6. **部署方案选择** - **单卡推理**：适用边缘场景（Atlas 200I） - **多卡训练**：8卡集群可达90%线性加速比 - **云边协同**：通过MindX SDK实现模型无缝迁移 注意事项： 1. 需使用昇腾优化的torchvision版本 2. 部分图像预处理操作建议放在CPU预处理 3. 推荐开启`ENABLE_COMBINE_SPLIT=1`环境变量优化数据搬运 该技术已成功应用于医疗影像分析、卫星图像处理等场景，在华为云ModelArts平台提供开箱即用的昇腾加速版Torchvision环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值