当卷积遇上积分——无损动态压缩

SSN(Superpixel Sampling Network) 目前超像素难以和深度学习相结合主要由两个原因:超像素采样网络(SSN)是端到端可训练的。解决第二个问题。 我们开发了一种新的超像素采样可微模型,利用深度网络学习超像素分割。所得到的超像素采样网络(SSN)是端到端可训练的,允许学习任务特定的超像素,具有灵活的损失函数和快速的运行时间。 我们首先回顾了SLIC超像素算法,并通过放松SLIC中存在的最近邻约束,将其转化为可微算法。这种新的可微算法允许端到端训练,并使我们能够利用强大的深度网络学习超像素,而不是使用传统的手工制作的特征。 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

核心思路

具体细节

卷积层

全连接层

激活函数

训练逻辑

演示效果

总结与思考

代码优化

使用方式

参考文献


本文所有资源均可在该地地处获取。

概述

近年来,深度神经网络(DNN)在计算机视觉(CV)和自然语言处理(NLP)领域中取得了难以置信的成就。当前各个领域的SOTA模型的成功往往可以归功于DNN强大的表现力——由Kolmogorov superposition theorem和一致逼近定理可以知道,在足够参数量的支持下,DNN可以逼近任意连续多元函数。为了实现更好的性能,DNN模型的参数量越来越大,现存、算力的限制也越来越显著。该文章创新性的提出了积分神经网络(Integral Neural Network,INN)。概括的说,INN假定DNN中的每一层可以看作连续操作,其使用积分变换替代神经网络中的卷积变换,利用积分的连续性在给定采样网格上给出对应的层输出。基于这一设想,INN实现了对网络的“无损”压缩,展示了超强的网络压缩性能。

本文基于Integral Neural Network, 其论文发表在CVPR 2023。

核心思路

INN的核心工作原理可以由以下公式所示:

公式中的

我们可以看到,该公式将左部积分在n个点进行采样,并以qiqi​的加权和作为积分的近似值。

这一部分有没有很眼熟?

这不就是数值积分吗?学积分概念的应该都接触过那个无限细分的长方形吧。

文章讨论了不同的计算方式,最后得出实际中梯形计算方式误差更小的结论。

让我们看看这个公式说了什么。从左到右,两函数积的定积分,经过一个采样大小为n网格将其近似到了向量的点积;从右到左,不同两函数的有参数情况下的积被转换成了积分形式。这就为神经网络层和积分操作搭建了桥梁,也为统一不同通道维大小的网络提供了基础。

当我们有了桥梁之后,就可以实行网络的训练了。

对于积分中的连续参数表达,首先在确定网格上对其进行离散化,将其乘以可训练积分权重q作为整体权重。然后,将输入与权重相乘即可作为该层输出。

具体细节

当前DNN主要有三大核心模块,卷积层(Convolution or cross-correlation layer)、全连接层(Fully-connected layer)和激活函数层(Pooling and activation functions)。本节对这三种模块进行分别讨论。在讨论之前,每个模块都存在可训练参数,其参数的函数表达要首先讨论。

INN中使用插值法获得具体参数,以全连接层为例,

每层的可训练参数连续化为FWFW​,其值由输入输出坐标确定;λλ为可训练参数;u()u()为三次卷积插值函数(如图a),值得一提的是文章选择该函数是因为其被广泛引用在高效图像插值问题,对不同插值函数的研究可能是未来的一个方向。

对于积分核函数FW(λ,x)FW​(λ,x),是通过参数化表达来实现的对一个连续核函数的描述,选定一个卷积核,然后在归一化区间上等间距取m个结点,其上的权重λiλi​作为可学习权重。其实这是最常用的一种连续函数的卷积形式的参数化表达,只不过插值权重是可学习的。这个连续积分核函数确定后,可以根据需要离散化采样该积分核的值。

与公式(1)相呼应,其中网络参数WqWq​可以连续函数FWFW​改写:

其中PkoutPkout​和PlinPlin​为输入输出的采样情况。

卷积层

对于卷积层,上式满足卷积形式。卷积核参数由通道维输入坐标xoutxout、通道维输出坐标xinxin和空间维输入坐标xsxs确定;对应的输入信号由通道维输入坐标xinxin和空间维输入偏置坐标xs′+xsxs′+xs确定;输出由空间维度和通道维度确定。这种确定方式完全符合卷积层操作。

全连接层

全连接层比卷积层更加简单。其可训练参数由输入输出维度确定;输入仅由输入维度确定;输出仅由输出维度确定。这也是符合全连接层操作的,实际从公式也能看出来,这就是矩阵乘法。

激活函数

激活函数就更加简单了。对激活函数定义一个分段采样D(,P)D(,P),该函数是线性的所以可以和激活函数互换位置,这样也就说明了本文的分段采样对激活函数没有影响(采样可以和激活函数操作互换位置)。

自此,我们有了网络核心模块的连续化,从而可以使用积分操作替换网络层,通过改变计算积分时的采样点数改变网络中的通道维数。

训练逻辑

训练需要数据集X。其首先将网络进行连续化,获得连续网络并确定压缩范围(人为指定);然后对连续网络中的每一层,分别随机生成一个采样网格,在该网格上进行采样,并计算输出结果;最后,汇总模型输出结果,走完整个bp过程。

从网络训练的角度,可以将连续网络看作一个网络集合MM。每次训练都从集合MM中随机选取一个子网络进行训练。由于三角不等式:

即两网络效果差不大于各自与真实值的差之和,我们训练减小不等式右边也将使得左边的上限减小,从而获得相差不多的训练效果。

演示效果

文章中使用INN方法压缩EDSR,其结果展示:

从数据上来看,如果使用预训练的模型进行初始化(INN-init),可以看出INN压缩之后的模型效果和原模型效果一致,甚至更优。


我将扩展后的INN使用在不同模型上。我们可以通过观察其压缩前后的feature map,下图左边是压缩前,右边是压缩后。

(太大,平台无法上传,所以这里为静态图) 

通过仔细观察,可以明显看出压缩后feature map的细节程度是比压缩前更加丰富的(例如楼角,纹路)。同时,压缩后在feature map明显比压缩前少了很多模糊情况。这在一定程度上可以被称为INN压缩的原理。

总结与思考

INN使用积分替换卷积操作,其主要好处在于获得了可变的网络通道维度。INN通过训练不同通道维度设置下的网络以求减小网络通道维,从而进行模型压缩。然而,INN作为一个新兴方法还有很多不足的地方。

  • 网络通道维度作为网络大小的重要超参数,近年来受到的重视明显不足。研究者们设置这一参数总是与标准模型看齐,与其他模型看齐,从而放下手来调整学习率、学习策略和网络结构等更“重要”的部分。这一现象导致了目前模型中通道维参数可能存在着大量的冗余。INN通过积分方法测试压缩通道维度,其核心训练目标基于公式(8)。然而,首先,训练过程中不同采样的网络大概率会有互相影响,这影响着公式(8)的成立性。其次,对于公式(8),其描述仅为不同划分下,网络性能越来越近,并不能保证所有划分的收敛结果一样好。因此有理由怀疑,在训练过程中,划分颗粒度粗的模型可能会“带跑”划分颗粒度细的模型的性能,而文章中的无损压缩只是通道维冗余的结果。如果单纯将通道维的超参调低,可能会达到一样甚至更优的效果。(事实上我私下通过这种实验初步验证了这一点。)
    从这个角度,换个方向想,可能将INN方法用作fine tune,或者指导模型进行初步收敛可能是目前INN比较直观的应用方向?
  • 由于第一点的存在,且根据事实考虑,手动设置网络通道维范围仍然是一个比较困难的过程。这也就是说,INN只能在较优的预先设置的通道维范围里有效运行。
  • INN实现中,不区分网络不同层的冗余度。然而,大量研究表明,随着网络加深,网络冗余度会产生变化。这一点限制了INN压缩的性能。
  • 最后,INN目前不支持Attention机制且代码写的不够灵活,这是一个硬伤。

代码优化

针对当前INN代码的问题,我进行了调整和改动。

首先,对其integral group类进行修改:

class IntegralGroup(RelatedGroup):
    """计算积分相关组"""
    def __init__(self, size, base, typeo="normal", factor=None, partner=None):
        super(RelatedGroup, self).__init__()
        self.rate = 1 #当前组的压缩度
        self.ori_size = size #组默认维度大小(最大大小)
        self.factor = factor #比例因子
        self.domain = None #维度定义域 None表示默认表示,不使用维度定义域法
        self.friends = None #用于适配concat命令
        self.partner = partner #决定该组group大小的层
        self._size = size #当前组维度大小
        self.base = base #维度必定是base整数倍
        self.subgroups = None #原代码中用于处理组间关系
        self.parents = [] #父辈组,用于确定组件关系
        self.grid = None #采样网格
        self.params = [] #组所管辖的参数
        self.tensors = [] #组所管辖的参数对应的tensor
        self.operations = [] #组的操作名称,用于显示信息和字符串记录
        self.typeo = typeo #组类别,用于确定组的压缩方式
        self.vis = False #组是否来过的flag

如注释所示,我添加了很多原代码没有的好用且需要的功能,如支持组间比例关系,支持组间加法关系,支持组间乘法关系,支持在domain范围内取值,支持仅取base的倍数等。这些在实际使用INN的时候都是很需要用到的功能。

其次,我在operator.py文件内添加了很多很有用但原程序没有的钩子,示例如下:

layer_norm_hook(module, inp, out)#层归一化函数
chunk(inp, chunks, dim)#chunk函数
sub_operator(x,y)#减法操作
sub_operator(x,y)#减法操作

等。

有了钩子,就需要在遍历的时候调用。这部分INN使用torch.fx库实现。但是INN没有使用自定义Tracer,这使得在不同模型使用INN比较繁琐。我添加自定义钩子如下

class CustomTracer(torch.fx.Tracer):
    def __init__(self, custom_list) -> None:
        super().__init__()
        self.custom_list = custom_list
    def is_leaf_module(self, m: torch.nn.Module, module_qualified_name: str) -> bool:
        is_leaf = False
        for i in self.custom_list:
            is_leaf = is_leaf or (i in m.__module__)
        return is_leaf or (super().is_leaf_module(m,module_qualified_name)) 

并在调用tracer的时候添加用户模组名列表,以此达到过滤用户模组、使其在使用的时候作为一个端点存在而不深入迭代。更多更改,类的具体使用策略以及bug修复请查看附件源代码。

使用方式

更改过的INN与原INN一样作为一个扩展库存在,调用方法类似。

  1. 环境配置
    确保运行环境内包括requirements.txt中的包。例如:

    - pytorch 2.0+
    - torchvision
    - numpy
    - scipy
    - Cython
    - catalyst
    - pytorchcv
    

  2. 安装INN

    pip install .
    
  3. 导入包开始使用

    import torch_integral as inn
    

    包使用总共分4步:

    • 定义连续层

      continuous_dims = {
          "layer4.0.conv1.weight": [0],#"your.model.layer.name": [dimintional number]
          "layer4.1.conv1.weight": [0, 1]
      }
      #使用inn.standard_continuous_dims可以自动获取所有层
      continuous_dims = inn.standard_continuous_dims(model.module_name)
      
    • 定义离散层
      由于连续采样维度随机,一般需要将两端设置为非连续使得其对外表现一致。

      dis_dims = {
                  "conv0.weight":[1], 
                  "fc1.weight":[0],
                  "fc1.bias":[0]
      }
      
    • 使用wrapper获取连续化模型

      inn_model = inn.IntegralWrapper(
                  init_from_discrete=True,
                  permutation_config={"class":inn.permutation.NOptOutFiltersPermutation}
                  )(model, (your_input_shape), continuous_dims, dis_dims)
      
    • 设置组压缩率

      for i in inn_model.groups:
      	i.reset_distribution(inn.UniformDistribution(int(i.size/2), int(i.size), i.base, i.domain))
      

      之后,就可以像正常使用你的模型一样训练连续模型了。但是要关注一点,如果你使用了各自并行技术(DP,DDP等),可能需要在train的epoch中显示调用以下forward_group(),如下:

      your_model.module.your_module_name_path.forward_group()#DP
      your_model.your_module_name_path.forward_group()
      

      这一问题是INN的遗留问题。

  4. 测试连续模型
    首先,你需要按3准备好你的模型的连续化版本并设置好压缩率范围。

    使用resize函数设定你想要的压缩度

    your_model.module_name.groups[index].resize(idle_size)
    

    在导入pre_train的数据之后,运行如下代码获得你所需要的离散版本:

    print("Compression: ", model.module_name.eval().calculate_compression()
    model.module_name = model.module_name.get_unparametrized_model()
    

    注意print句必须存在,这也是INN的遗留问题。

参考文献

[1] Kirill Solodskikh, Azim Kurbanov, Ruslan Aydarkhanov, Irina Zhelavskaya, Yury Parfenov, Dehua Song, and Stamatios Lefkimmiatis. 2023. Integral Neural Networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 16113–16122.

​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

深度学习中7种卷积操作全解析:从标准卷积到Depthwise Separable 本文全面解析深度学习中7种核心卷积操作,包括标准卷积、空洞卷积、转置卷积、深度可分离卷积等,揭示从VGG到MobileNet的进化密码。重点探讨各种卷积的设计哲学、实战价值及优化技巧,帮助开发者深入理解卷积神经网络(CNN)在计算机视觉中的应用与创新。 阅读详情

相关推荐

十九种卷积

十九种卷积

zjjaibc的博客 4395

CVPR 2023 所有论文已可下载,获奖候选论文 12篇

关注公众号,发现CV技术之美今年投稿 9155 篇论文,录用 2359 篇论文(录取率25.8%),其中亮点 235篇论文(10%的录用论文,2.6%的已提交论文),获奖候选论文 12篇(占录用论文的0.51%,占已提交论文的0.13%)。▌获奖候选论文1.OmniObject3D: Large Vocabulary 3D Object Dataset for Realistic Percepti...

我爱计算机视觉 2011

YOLO11改进|卷积篇|引入可切换空洞卷积SAConv

YOLO11中添加可切换空洞卷积SAConv

A1983Z的博客 2061

探索未来:TorchIntegral——积分神经网络的官方实现

探索未来:TorchIntegral——积分神经网络的官方实现 项目介绍 TorchIntegral 是基于 PyTorch 的 "Integral Neural Networks" 的官方实现,该研究成果已在 CVPR 2023 上发表。积分神经网络(Integral Neural Networks,INN)是一种创新的神经网络架构,通过引入积分概念,显著提升了模型的效率和性...

gitblog_00042的博客 582

hi3519dv500 os04a10输入调试

因该sensor接在soc端的iic6,在驱动中(Hi3519DV500_SDK_V2.0.1.1\smp\a55_linux\source\mpp\cbb\isp\user\sensor\hi3519dv500\omnivision_os04a10\os04a10_sensor_ctl.c)注意总线的选择。mem_process_isolation=1 改为 mem_process_isolation=0。2、OT_MIPI_SET_HS_MODE配置为LANE_DIVIDE_MODE_1。

linus 3181

elegant(ELEctron Generation ANd Tracking)入门指南(1)

elegant (ELEctron Generation ANd Tracking),美国先进光子源(APS)所用的圆环加速器的模拟程。

qq_41106132的博客 1850

Hadoop3的高可用搭建

Hadoop集群作为当今大数据技术的基础数据底座非常重要,尽管部署过程非常复杂,步骤特别多,不过本文尽可能对每一步都做到细致入微,目的是让初学者手把手的照着做,也能正确部署好Hadoop平台,为后续的大数据技术学习,解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2],Journal集群[datanode-1、datanode-2、datanode-3],ZKFC服务[datanode-1、datanode-2]全部正常启动。

Baron_ND的博客 1941

AI计算,为什么要用GPU?

几年后,2012年,神经网络之父杰弗里·辛顿(Geoffrey Hinton)的两个学生——亚历克斯·克里切夫斯基(Alex Krizhevsky)、伊利亚·苏茨克沃(Ilya Sutskever),利用“深度学习+GPU”的方案,提出了深度神经网络AlexNet,将识别成功率从74%提升到85%,一举赢得Image Net挑战赛的冠军。根据形态,GPU可分为独立GPU(dGPU,discrete/dedicated GPU)和集成GPU(iGPU,integrated GPU),也就是常说的独显、集显。

经营范围: CTA、SRRC、CCC、移动、电信、联通入库 1678

卷积神经网络(Convolutional Neural Networks, CNN)的详细介绍

进入二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被广泛应用于计算机视觉、自然语言处理等领域。卷积神经网络的核心在于其卷积层,通过滑动窗口的方式实现位置不变性,从而减少了对位置变化的敏感性。此外,卷积层还可以通过参数共享的方式减少模型的参数数量,从而降低模型的复杂性和过拟合的风险。总之,卷积神经网络凭借其强大的特征提取和学习能力,在多个领域都展现出了卓越的性能和广泛的应用前景。随着技术的不断发展和完善,相信卷积神经网络将在更多领域发挥更大的作用。

m0_38012434的博客 1108

用FSL的eddy_topup pipeline完整处理DTI数据:从原理到实战,搞定涡流和磁化率畸变

本文详细介绍了如何使用FSL的eddy_topup pipeline完整处理DTI数据,解决涡流和磁化率畸变问题。从原理到实战,涵盖了数据格式转换、脑提取、b0图像处理等关键步骤,并提供了acqparams.txt配置和eddy命令的详细解析,帮助研究人员高效完成DTI数据校正。

weixin_29235525的博客 286

用Python爬虫抓取大宗交易成交数据:全面解析与实战代码

大宗交易是指在证券市场中,涉及大额买卖的交易。此类交易通常由机构投资者进行,其交易量较大,对市场的影响显著。大宗交易数据包含了买卖双方的成交价格、成交量等关键信息,这些数据对于投资者和分析师而言,具有重要的市场预测意义。Python爬虫是一种自动化抓取互联网上数据的工具。通过爬虫,我们可以定期获取大宗交易数据,节省人工查询的时间。爬虫的工作原理通常包括:发送HTTP请求、获取响应数据、解析网页内容、提取关键信息、存储和展示数据。

2201_76125261的博客 417

深度学习中的卷积和反卷积

f∗gn∑k−∞∞fkgn−kf∗gnk−∞∑∞​fkgn−k翻转平移:卷积核先水平/垂直翻转再进行滑动计算积分变换本质:表征函数f与g重叠部分的乘积积分滑动平均推广:当g为区间指示函数时,卷积即滑动平均数学理论深化:从离散卷积到群上卷积的泛化硬件协同优化:TensorCore对3×3卷积的特殊加速跨领域融合:在药物动力学IVIVC模型中的应用创新“卷积是特征提取的基石,反卷积是想象力的翅膀” —— 计算机视觉领域谚语。

qq_32205577的博客 3016

使用Simulink进行带通滤波器的设计与仿真研究

摘要:本文介绍利用Simulink设计和仿真带通滤波器的方法。通过定义系统需求(保留100-500Hz信号),创建包含多频信号源、加法器和巴特沃斯滤波器的模型,重点展示滤波器频率选择特性。详细步骤包括模块配置、参数设置(中心频率300Hz、带宽400Hz)、信号连接及可视化分析。实验验证了带通滤波器有效提取目标频段信号的能力,为复杂信号处理系统开发提供基础框架。所需工具为MATLAB R2023a和DSPSystemToolbox。

xiaoheshang_123的博客 327

动态卷积效率低?UCSD&微软用矩阵分解的方法解决了这个问题,性能还更高!(ICLR2021)...

关注公众号,发现CV技术之美▊写在前面最近,动态卷积方面的研究表明,K个静态卷积核的自适应聚合,可以使得CNN的性能显著提高。然而,它有两个局限性:(a)它将卷积权重的数量增加了k倍 ,...

我爱计算机视觉 1253

威纶通触摸屏与S7-1200以太网通信的具体方法和步骤(非常详细)

威纶通触摸屏与S7-1200以太网通信的具体方法和步骤(非常详细)

Robot_PLC_HMI_Automation 1万+

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

卷积:零基础图解卷积计算,小学二年级适用

试图讲明白卷积的过程

qq_31849299的博客 1015

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

ODE45积分器和标准的Runge-Kutta 4积分器研究附Matlab代码

本研究聚焦于 ODE45 积分器和标准的 Runge - Kutta 4 积分器,深入剖析二者的算法原理、误差特性、计算性能等方面。通过理论分析与实际案例相结合的方式,对比两种积分器在求解不同类型常微分方程(ODE)时的表现。结果表明,ODE45 积分器采用变步长策略,在求解复杂 ODE 问题时能有效平衡计算精度与效率;标准的 Runge - Kutta 4 积分器采用固定步长,在简单 ODE 问题上具有稳定性和计算简便性优势。本研究为合理选择积分器求解 ODE 问题提供了理论依据与实践参考。关键词。

2501_91572946的博客 925

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【深度学习解惑】1×1 卷积在 Inception 中扮演了哪些角色?

1×1 卷积在 Inception 中扮演了哪些角色?

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1271

从冲激到卷积:信号与系统分析的基石

本文深入解析信号与系统分析中的核心概念:冲激响应、阶跃响应和卷积。冲激响应δ(t)作为系统的'指纹',能完整揭示动态特性;阶跃响应则展现系统的持续行为;卷积作为信号处理的瑞士军刀,实现了任意输入下的响应预测。这些概念构成了LTI系统分析的基础工具链,广泛应用于音频处理、滤波器设计等工程实践。

weixin_30696427的博客 297

卷积神经网络总结

卷积神经网络模型结构 1. CNN的基本结构 图中是一个图像识别的CNN模型,最左边船的图像是输入层,计算机理解为输入若干个矩阵。接着是卷积层(Convolution Layer),卷积层的激活函数使用的是ReLU(x)=max(0,x)。在卷积层后面是池化层(Pooling layer),注意:池化层没有激活函数。 根据模型的需要卷积层+池化层的组合(或者卷积层+卷积层+池化层的组合)...

Yasin的博客 4428
上一篇: 超声图像手臂动脉检测及弹性分析
下一篇: 万能的无人机锁定目标投放程序
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值