original Residual Unit && full pre-activation Residual Unit

Multi-branch convolutional networks Multi-branch convolutional networks 这是在学习阅读Selective Kernel Networks论文中出现的related work。 从来没接触过,没了解过。今天学习记录一下。 Highway networks R. K. Srivastava, K. Greff, and J. Schmidhuber. Highway networks. arXiv preprint arXiv:1505.00387, 2015. highway network是主要讲的是什么呢 阅读详情

在2016年ECCV的一篇论文中,讲述到了full pre-activation ResNet。

其改进的ResNet164结构比original结构的error降低0.5%

K. He, X. Zhang, S. Ren, and J. Sun, “Identity mapping in deep residual networks,” in ECCV 2016
在这里插入图片描述

图中的weight层代表的就是卷积层操作,BN和relu分别是批正则化和激活函数

original Residual Unit Pytorch实现

# full pre-activation  Residual Unit
class Bottleneck(nn.Module):
    expansion = 4

    def __init__(self, in_channel, out_channel, stride=1, downsample=None, norm_layer=None):
        super(Bottleneck, self).__init__()
        if norm_layer is None:
            norm_layer = nn.BatchNorm2d   # BN层

        self.conv1 = nn.Conv2d(in_channels=in_channel, out_channels=out_channel,
                               kernel_size=1, stride=1, bias=False)  # squeeze channels
        self.bn1 = norm_layer(out_channel)
        # -----------------------------------------
        self.conv2 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel,
                               kernel_size=3, stride=stride, bias=False, padding=1)
        self.bn2 = norm_layer(out_channel)
        # -----------------------------------------
        self.conv3 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel * self.expansion,
                               kernel_size=1, stride=1, bias=False)  # unsqueeze channels
        self.bn3 = norm_layer(out_channel * self.expansion)
        self.relu = nn.ReLU(inplace=True)  # relu激活函数
        self.downsample = downsample

    def forward(self, x):
        identity = x
        if self.downsample is not None:
            identity = self.downsample(x)
		out = self.bn1(x)
		out = self.relu(out)
        out = self.conv1(out)
       
		out = self.bn2(out)
        out = self.relu(out)
        out = self.conv2(out)
        
		out = self.bn3(out)
		out = self.relu(out)
        out = self.conv3(out)

        out += identity

        return out

两者的主要区别在于forward函数的区别,init函数的定义部分没有区别。

full pre-activation Residual Unit Pytorch代码实现

# 最原始的ResNet Block
class Bottleneck(nn.Module):
    expansion = 4

    def __init__(self, in_channel, out_channel, stride=1, downsample=None, norm_layer=None):
        super(Bottleneck, self).__init__()
        if norm_layer is None:
            norm_layer = nn.BatchNorm2d  # BN层

        self.conv1 = nn.Conv2d(in_channels=in_channel, out_channels=out_channel,
                               kernel_size=1, stride=1, bias=False)  # squeeze channels
        self.bn1 = norm_layer(out_channel)
        # -----------------------------------------
        self.conv2 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel,
                               kernel_size=3, stride=stride, bias=False, padding=1)
        self.bn2 = norm_layer(out_channel)
        # -----------------------------------------
        self.conv3 = nn.Conv2d(in_channels=out_channel, out_channels=out_channel * self.expansion,
                               kernel_size=1, stride=1, bias=False)  # unsqueeze channels
        self.bn3 = norm_layer(out_channel * self.expansion)
        self.relu = nn.ReLU(inplace=True)  # relu激活函数
        self.downsample = downsample

    def forward(self, x):
        identity = x
        if self.downsample is not None:
            identity = self.downsample(x)

        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)
        out = self.relu(out)

        out = self.conv3(out)
        out = self.bn3(out)

        out += identity
        out = self.relu(out)

        return out

【202503】Wan:开放且先进的大规模视频生成模型【1.3B、14B】【支持对无限长度视频进行稳定的Inference】【Wan中的主要计算开销来自注意力机制】 wan: Open and Advanced Large-Scale Video Generative ModelsWan:开放且先进的大规模视频生成模型Wan Team, Alibaba Group Wan 团队,Alibaba GroupThis report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation 阅读详情

相关推荐

Improved Residual Networks for Image and Video Recognition 论文理解

这两天读了一下这篇文章,作者大概思路是从三个方面优化 1.ResStage 该方案其实就是结合了original resnet 的block结构和pre-activation resnet的block结构,在一个stage中采用三段式,头和为采用original的结构,中间部分都是采用pre-activation结构 2.Improved projection shortcut 这个更好理解,意...

weixin_40817567的博客 704

【深度学习】经典的卷积神经网络模型介绍(LeNet、AlexNet、VGGNet、GoogLeNet、ResNet和MobileNet)

经典的卷积神经网络模型介绍卷积神经网络简介一、LeNet1、INPUT层-输入层2、C1层-卷积层3、S2层-池化层(下采样层)4、C3层-卷积层5、S4层-池化层(下采样层)6、C5层-卷积层7、F6层-全连接层二、AlexNet1、AlexNet特点2、ReLu作为激活函数3、数据增强4、层叠池化5、局部相应归一化6、Dropout7、Alex网络结构8、AlexNet参数数量三、VGG net1、VGG的特点2、VGG网络结构3、VGG优缺点四、GoogLeNet1、GoogLeNet Incepet

点赞的都能无bug通过! 5万+

Road Extraction by Deep Residual U-Net

Abstract U-Net与residual单元结合的优势: (1)residual units可以简化深层网络的训练 (2)大量的skip connections促进了信息的传播,可以设计出参数更好性能更好的网络。 1.INTRODUCTION 道路提取:道路面积的提取和道路中心线的提取 道路面积提取前人工作: (1)shape index特征 + SVM【11】 (2)使用概率SVM设计多级...

qq_36321330的博客 5229

NLP 学习笔记38-神经网络

一 序 本文属于贪心NLP训练营学习笔记系列。在之前的机器学习的分享中,是关于传统机器学习的一些重要的模型,从本节课开始学习深度学习。 神经网络 只是借鉴了生物学的神经系统,与真实的大脑生物学还差别很大。 二神经元 人工神经元(Artificial Neuron),简称神经元(Neuron),是构成神经网络 的基本单元,其主要是模拟生物神经元的结构和特性,接收一组输入信号并产生输出。 我们把神经元,分为pre-Activation,post-Activation 两个过程。 pre-Ac...

bohu83的博客 1100

ResNet详解与分析

文章目录Resnet要解决的是什么问题Residual Block的设计ResNet 网络结构error surface对比Residual Block的分析与改进小结参考 博客:博客园 | 优快云 | blog Resnet要解决的是什么问题 ResNets要解决的是深度神经网络的“退化”问题。 什么是“退化”? 我们知道,对浅层网络逐渐叠加layers,模型在训练集和测试集上的性能会变好,因...

日拱一卒 5312

【信息科学与工程学】【数据中心】【智算中心】 第二十六篇 计费系统篇03-智算业务计费

动态批价与规则引擎的协同本质是 ​​“策略与执行解耦”+“实时上下文驱动”​​技术协同​:规则引擎定义业务逻辑(What),批价引擎执行计算(How),通过缓存、事件总线和动态注入实现高效联动;​架构演进​:从单体规则中心 → 微服务化 → 事件驱动分层,核心目标是提升扩展性、降低时延;​关键突破​:​实时性​:电信OCS通过规则引擎实现秒级信用控制;​灵活性​:电商将促销规则拆分为独立AO服务,避免单点故障;​精准性​:物流动态权重模型量化距离、燃油等因子,误差率<5%。

weixin_49199313的博客 1228

论文阅读|ResNetv2:Identity Mappings in Deep Residual Networks

首先回顾ResNetv1, 这里把第一版本的ResNet叫做原始版本,原始版本中的网络结构由大量残差单元(“Residual Units”)组成。这些残差单元,可由以下公式表示: yl=h(xl)+F(xl,Wl),(1)y_l = h(x_l) + F(x_l, W_l) , (1)yl​=h(xl​)+F(xl​,Wl​),(1)xl+1=f(yl),(2)x_{l+1} = f(y_l),(2)xl+1​=f(yl​),(2) xl和xl+1分别为第l个单元的输入和输出, FFF代表残差函数,h(xl

yanghao201607030101的博客 433

【信息科学与工程学】计算机科学与自动化 第二百三十三篇 凤凰架构01

编号类型领域系统软件/硬件或系统集成方案及系统架构模块子模块函数名称/算法名称算法的数学分析及计算机体系架构及数据结构与算法详细设计及参数列表及数值范围设计关联知识1共识算法分布式基石状态机复制架构:Proposer/Acceptor/Learner 多节点角色模型,基于操作转移(Operation Transfer)分布式共识PaxosPaxos 协议(Prepare/Promise/Accept/Accepted 两阶段)数学基础:多数派(Quorum)投票,基于鸽巢原理保证 W+R>N 时读写集合必有

weixin_49199313的博客 268

ML参数及ResNet中Pre-activation和post-activation的区别

batch_size:多少个数据为一个批次进行梯度更新。 batch:以batch_size为单位,将数据集划分为多少个batch。batch=total size/batch_size epoch:将整个数据集训练多少次。一般选择>1,因只输入网络一次不能很好的学习到特征。 max_seq_len:tokenizer参数,若数据大于max_seq_len,直接截断 ...

qq_41427834的博客 2779

Agent 长期记忆三代演进:从 RAG 到 Memory Graph,mem0 / Zep / LangMem / Letta 深度横评

文章摘要 2026年,Agent长期记忆技术迎来关键突破,OpenAI、Anthropic等厂商通过扩大上下文窗口和推出记忆工具,推动长期记忆从工程补丁发展为独立技术层。本文通过分析三代记忆架构演进(RAG→结构化Fact→MemoryGraph)和四大方案(mem0/Zep/LangMem/Letta)的8维度横评,揭示以下核心观点: 长上下文≠长期记忆:128K上下文如同RAM,仍需硬盘式记忆层筛选和结构化存储,避免“Context Rot”导致的准确率下降。 三代架构演进: Gen1(RAG):向量检

LDZKKJ的博客 1460

R语言pls包实战:手把手教你用偏最小二乘(PLS)搞定高维数据回归(附完整代码与数据标准化避坑指南)

本文详细介绍了如何使用R语言的pls包进行偏最小二乘(PLS)回归分析,特别针对高维数据回归问题。通过完整的代码示例和数据标准化避坑指南,帮助读者掌握从数据预处理到模型优化的全流程,解决实际应用中的常见问题。

weixin_42662605的博客 352

【机器学习】一文搞懂 混合专家架构(MoE, Mixture of Experts)

这一设计基于以下观察:在足够大的模型规模下,单个专家的选择已能提供足够的模型容量,而避免多专家聚合带来的计算与通信开销。其关键特性包括:自适应专家容量(根据实时负载动态调整)、二维专家并行(数据并行与专家并行的混合)、以及All-to-All与All-Gather的融合优化。代码涵盖了细粒度MoE的维度切分、共享专家隔离的动态路由、专家管理系统的剪枝合并,以及Soft MoE等超越稀疏性的创新架构,提供了从理论到实践的完整技术路径。专家并行将专家网络分片至不同设备,门控网络与注意力层保持数据并行。

u012133341的博客 495

STM32CubeMX-电机控制2-电机相关配置部分

STM32CubeMX-电机霍尔传感器 写在前面的话:之前一直使用库函数,调程序时总会觉得是配置出现问题,要画一些时间去检查配置程序,所以目前转到了STM32CubeMX。写这些内容一方面是整理记录,因为是刚入门,所以难免出现错误,希望能得到大家指正;另一方面是因为自己一个人调试,走了很多弯路,写下来希望能给相同处境的人一些参考。 步骤一: 电机霍尔传感器接口 我目前使用的是STM32F4,电机的...

niker_co的博客 1万+

Python机器学习:从零基础到项目实战

当您翻开此书,您正踏入一场数据与智慧的修行。机器学习,并非冰冷的符码,而是机器模拟人类洞察世界的法门。本书将带您,以Python为舟,泛游于算法之海。我们不只传授“术”,更探求其后的“道”——从数据的生灭流转中观照规律,于模型的迭代演进里体悟得失。愿您合上书卷时,收获的不仅是驾驭数据的技能,更有一双洞悉复杂、化繁为简的“智慧之眼”。现在,让我们一同启程。

YunWisdom 974

瑞萨RA6M4平台I2C驱动移植实战:MPU6050传感器集成指南

本文详细介绍了在瑞萨RA6M4平台上进行I2C驱动移植并集成MPU6050传感器的实战指南。通过FSP配置工具添加I2C主栈,适配MPU6050官方驱动,实现传感器数据读取与调试,为嵌入式开发提供完整的解决方案。

banana的博客 109

Android14_MTK调试LCD屏功能

android14 MTK平台调试LCD屏

m0_37786046的博客 1473

经典 network -- 图像分类篇(03 ResNet v1-v2)

近期,实验室小组成员决定定期学习经典网络模型。因此,特别准备写这么一个博客,持续更新我们的学习、及个人对各种经典网络的理解。如有不足和理解不到位的地方,还望读者提出质疑和批评,定虚心改进。望共同讨论、学习和进步。 系列目录: 经典 network -- 图像分类篇(01 AlexNet / VGG) 经典 network -- 图像分类篇(02 Inception v1-v4)(-ing) ...

u014546828的博客 1107

蓝牙开发那些事之ceva controller代码解读

对比ceva的经典蓝牙和ble的controller在软件上的差异点

袁赟的博客 1094

使用pytorch构建resnet50-v2

使用pytorch构建resnet50-v2

zzpl139的博客 1362

宏基因组功能注释实战:从CAZyme到VFDB的完整流程(含数据库下载与脚本优化)

本文详细介绍了宏基因组功能注释的完整流程,涵盖CAZyme、eggNOG、CARD和VFDB四大核心数据库的实战应用。从环境配置、数据库下载与预处理到注释流程执行与优化,提供了全面的操作指南和脚本优化建议,帮助研究人员高效完成宏基因组数据分析。特别针对CAZyme注释等关键步骤给出了参数优化方案和常见问题排查方法。

weixin_29289821的博客 299

今日指数项目之实时流数据采集【六】

实时数据采集代码

Maynor的博客 2147

神经网络笔记

神经网络笔记

weixin_43391596的博客 1690

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

SoundStream: 下一代的神经网络音频编解码器,实时压缩不牺牲音质

音频编解码技术的目标是,通过减少音频文件的大小来节省存储空间或减轻网络传输的负担。理想的情况下,即使音频被压缩,我们听到的声音与原版也应该没有任何区别。过去,已经有不少编解码技术被开发出来,满足了这些需求,比如Opus和EVS这两种编解码器就很出名。Opus是一个多才多艺的音频编解码器,它适用于各种应用,从视频会议(比如 Google Meet)到在线视频流(比如 YouTube)。Opus支持的压缩比率非常灵活,从每秒6千比特到每秒510千比特都可以。而EVS,是由针对移动>)开发的最新编解码器。

Bryce1010's Blog 4462

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Tensorflow2.0学习笔记(八)Resnet

1退化问题? 在不断增加神经网络的深度时,会出现一个退化的问题: 准确率会先上升然后达到饱和,再持续增加网络的深度则会导致准确率下降。 这并不是过拟合的问题,原因是不光在测试集上误差增大,训练集本身误差也会增大。 2ResNet的残差学习单元(Residual Unit) 这个Residual block通过shortcut conn...

静谧、淡雅 1368

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

深度剖析resnet究竟干了一件什么事?(从理论到代码详解)

resnet究竟干了一件什么事? 想必大家一定都已经听说过了大名鼎鼎的resnet了。那么resnet究竟是干了一件什么事呢?为什么网络假如残差效果就会变好了呢?本文将详细探讨一下。 开篇先说一下我自己的直观感受,我起初看了resnet以后我觉得之所以resnet会SOTA,其原因就是由于网络的加深最后面的feature_map可能丢失了比较小的信息(也就是低级的语义特征),而这种shortcut...

justsolow的博客 3516

深度学习-卷积神经网络发展

文章目录1. LeNet(1998)2. AlexNet(2012)3. VGG(2014)3.1 网络结构3.2 其他细节4. Inception Net(2014)4.1 Inception V1(GoogLeNet)4.2 Inception V2(2015)4.3 Inception V3(2015)4.3.1 关于四条设计神经网络的原则4.3.2 关于如何分解大卷积核的卷积层4.3.3 ...

Susan Wong 3995
上一篇: Multi-branch convolutional networks
下一篇: 基于ACNet构建ResNet50backbone的Pytorch代码实现
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值