优化算法小记

TEB算法2-teb参数说明及调试小记 teb_local_planner的参数说明及调试手记 阅读详情

算法=模型+评估+优化算法
不同的模型的模型采用不同的损失函数,不同的损失函数优化难度不同
常用的损失函数:

  • 0/1 error:Loss= I(f,y),I是指示函数。简单直观;不可微,往往不能直接优化
  • Hinge:L=max{0,1-fy}。是0/1 error的一个凸上界。往往通过优化Hinge来代替优化0/1 error。也叫代理损失函数
  • 在fy=1处不可微,不能使用梯度下降法,往往使用次梯度下降法
  • 对于fy>1的点损失函数才为0,即不仅要求分类正确,而且要求有足够的确信度
  • 在SVM在有使用。引入松弛变量的最大边界优化等价于优化Hinge+L2
  • 交叉熵损失函数:
    • 总共有两种形式:
      • Loss=−[yln⁡y^+(1−y)ln⁡(1−y^)]Loss=-[y\ln\hat y+(1-y)\ln(1-\hat y)]Loss=−[ylny^​+(1−y)ln(1−y^​)]这是最熟悉常用的形式
      • Loss=ln⁡(1+exp⁡(−fy))Loss=\ln(1+\exp(-fy))Loss=ln(1+exp(−fy))可以证明两种形式等价
    • 是0/1 error的一个凸上界。
    • 处处可微、可使用梯度下降求解;对所有点都做惩罚,对outlier敏感
  • 似然损失函数:使出现的事件概率最大
  • 对数损失函数。从数学上来说,这个没什么特别的。对损失函数取对数的原因:
    • 不影响单调性

    • 对机器来说,加法运算比乘法运算快;如果表达式里含有指数形式,也可能加快运算。

    • 通常是似然函数取对数,似然函数是一系列概率的乘积,当相乘的项数量足够大时,乘积接近于0,计算机会出现浮点数下溢,使结果偏差大。甚至直接取到0从而导致不能计算。

    • 平方损失函数:Loss=(y−f)2Loss= (y-f)^2Loss=(y−f)2。处处可微,可使用梯度下降求解;距离真实值越远,惩罚越大,容易受到outlier的影响。从鲁棒性上来说,平均绝对百分比误差会更好:∑∣y−f∣y∗100/n\sum\frac{|y-f|}{y}*100/n∑y∣y−f∣​∗100/n

    • 绝对损失函数:Loss=∣y−f∣Loss= |y-f|Loss=∣y−f∣。在y=f处不可微。相当于做中值回归,对outlier的鲁棒性会更好

    • Huber损失函数:Loss={(f−y)2,∣f−y∣≤δ2δ∣f−y∣−δ2,∣f−y∣>δLoss= \{\begin{aligned} & (f-y)^2,& |f-y|\leq\delta\\ & 2\delta|f-y|-\delta^2,&|f-y|>\delta\\ \end{aligned}Loss={​(f−y)2,2δ∣f−y∣−δ2,​∣f−y∣≤δ∣f−y∣>δ​

      • 这样处理后,就会处处可微了。和泄露的relu一个道理。
      • 同时考虑了可导性和鲁棒性

优化类型

  • 凸优化,目标函数是凸函数。一般比较容易求解,通常可以直接使用随机梯度下降求解。
  • 非凸优化,例如PCA中的优化问题,一般非凸比较难解。不过PCA可以通过奇异值分解直接求解

常见优化算法

  • 有约束的优化算法:通常通过引入拉格朗日乘子转换为无约束的优化
  • 无约束:
    • 直接求解:需要是凸函数、梯度为0处的导数有解析解
    • 迭代近似求解:利用泰勒展开,近似估计逼近最佳解。通常有取一阶展开的梯度下降、取二阶的牛顿法
    • 牛顿法通常比梯度下降快。牛顿法在高维度下的Hessian矩阵求逆运算复杂大;牛顿法容易收敛到鞍点

梯度验证:计算梯度时,如果式子比较复杂,很可能会计算错误。利用泰勒展开和拉格朗日余项可得梯度的误差估计约为∣L(θ+ϵ)−L(θ−ϵ)2ϵ−∂L(θ)∂θ∣≈Mhk,k=1,2|\frac{L(\theta+\epsilon)-L(\theta-\epsilon)}{2\epsilon}-\frac{\partial L(\theta)}{\partial \theta}|\approx Mh^k,\quad k=1,2∣2ϵL(θ+ϵ)−L(θ−ϵ)​−∂θ∂L(θ)​∣≈Mhk,k=1,2当使用k是迭代所取的泰勒展开阶数。
实际中,我们通常通过下式做梯度验证:∣L(θ+ϵ)−L(θ−ϵ)2ϵ−∂L(θ)∂θ∣&lt;h|\frac{L(\theta+\epsilon)-L(\theta-\epsilon)}{2\epsilon}-\frac{\partial L(\theta)}{\partial \theta}|&lt; h∣2ϵL(θ+ϵ)−L(θ−ϵ)​−∂θ∂L(θ)​∣<h如果出现等号,则可能

  1. M较大。把h取为原来的十分之一,如果上式成立,此时使用更新后的h
  2. 梯度计算错误

梯度下降法:每次更新时都需要遍历计算训练集,运算量大、耗时长,精确度高
随机梯度下降法:每次只更新一个随机的不满足目标效果的样本。分类时是更新错误样本,回归时则是更新y-f较大的样本。大大加快了收敛速度,且适用于在线学习系统
小批量梯度下降法:随机梯度下降法每次只随机更新一个样本点,容易收到outlier和随机性的影响,算法不稳定。我们可以每次更新若干个数量的样本。通常16,32,64,512。这样在速度和精确度上衡量,不仅加快了运算速度还能增加算法稳定性。同时还能使用高度优化的矩阵运算。

随机梯度下降和小批量梯度下降收敛都不够稳定,甚至不收敛。很可能模型本身没有任何问题。
如果梯度下降比作球往山下滚。则最怕山谷和鞍点。山谷两边的比较陡峭,梯度大,很可能球在两个山壁间来回碰撞,导致下山慢甚至不下山。鞍点是当前点梯度为0,附近梯度接近0,且附近有梯度下降的点,当前点远不是最低点,这时球到这个地方就很可能停下来了,就在半山腰的某个较为平坦的地方。

为了解决这两个情形,有以下优化算法:动量算法(Momentum)、AdaGrad、Adam
对于山谷,我们还可以通过数据标准化来加速收敛。

Momentum:现实中球在滚下山的时候是有惯性的,惯性更可能使球快速通过山谷和冲过鞍点。迭代公式变为:vt=γvt−1+ηgtv_t=\gamma v_{t-1}+\eta g_tvt​=γvt−1​+ηgt​θt+1=θt−vt\theta_{t+1}=\theta_t-v_tθt+1​=θt​−vt​vtv_tvt​相当于当前的速度,当前速度受到前一时刻速度vt−1v_{t-1}vt−1​、加速度gtg_tgt​、阻力系数γ\gammaγ的共同影响。
下山过程中重力加速度一直存在,故球始终有向下的加速度,很可能冲过鞍点。在山谷中左右碰撞时的弹力加速度互相抵消,球向下的加速度不变,故速度受到的影响很小,
所以能快速通过山谷。
由于刻画惯性的物理变量是动量,故称为动量算法。

AdaGrad:使用梯度下降时,我们希望刚开始的时候步长大,加快学习速度;一定时间后希望步长小,避免冲过最低点太多。则我们可以使用自适应的步长调节方法。进一步,如果数据是稀疏的,则参数也很可能是稀疏的。我们希望稀疏的特征更新较大的步长、越不稀疏的特征更新的步长越小。例如文本问题中有的词出现频率接近0,更新频率低,更新步长可以大点;有的词频率很高,更新频率高,更新步长小点。AdaGrad采用历史梯度的平方和来表示稀疏性,值越小,稀疏性越强。更新公式为:θt+1,i=θt,i−η∑k=0tgk,i2+ϵgt,i\theta_{t+1,i}=\theta_{t,i}-\frac{\eta}{\sqrt{ \sum_{k=0}^tg_{k,i}^2+\epsilon}}g_{t,i}θt+1,i​=θt,i​−∑k=0t​gk,i2​+ϵ​η​gt,i​
其中θt,i\theta_{t,i}θt,i​中的i表示第i个分量,ϵ\epsilonϵ是为了使分母不为0。由于第二式的分母越来越大,相当于变相的使步长越来越小,实现了自动调节步长的功能。又由于是各自计算各个分量的,故实现了更新次数多的步长小,更新次数少的步长大。

Adam:动量考虑了惯性保持、AdaGrad考虑了环境感知。都能加快收敛。Adam综合了他们两者的有点。具体公式如下:mt=β1mt−1+(1−β1)gtm_t=\beta_1m_{t-1}+(1-\beta_1)g_tmt​=β1​mt−1​+(1−β1​)gt​vt=β2vt−1+(1−β2)gt2v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2vt​=β2​vt−1​+(1−β2​)gt2​m^t=mt1−β1t\hat m_t=\frac{m_t}{1-\beta_1^t}m^t​=1−β1t​mt​​v^t=vt1−β2t\hat v_t=\frac{v_t}{1-\beta_2^t}v^t​=1−β2t​vt​​θt+1=θt−ηmtvt+ϵ\theta_{t+1}=\theta_t-\frac{\eta m_t}{\sqrt{v_t+\epsilon}}θt+1​=θt​−vt​+ϵ​ηmt​​第一式考虑了即惯性,第二式考虑了梯度的平方类似于adagram中的平方和,考虑了环境感知。这两式都使用了移动指数衰减平均的思想:即离现在越近的信息对现在的影响越大,这里指考虑了前一时刻。第三、四式考虑了对0初始值情形的偏置修正,否则矩估计值偏向于0。最后一式把惯性和环境感知结合起来。

正则化
提到优化算法不得不提到正则化。

为什么使用正则化?
我们都知道高阶多项式能更好的拟合数据,但是也更容易出现过拟合。一种方法是降阶,相当于令高阶项的系数为0,但是不够灵活。另一种方法是不指定哪些高阶的项系数为0,但是指定多少项为0,但是不容易求解。这个差不多等价于L1了。再进一步,我们不指定多少项为0,我们令权重平方和为0,即∣∣WTW∣∣&lt;C||W^TW||&lt;C∣∣WTW∣∣<C,限制参数的大小。和第二种方法得到的参数空间有交集,但不完全相同,也不一定相等。

加上以上约束后,目标函数无约束优化转变为有约束优化。利用拉格朗日乘子求解可得∇WL+2λNW=0\nabla_W L+\frac{2\lambda}NW=0∇W​L+N2λ​W=0从另一个方向来解释这个式子:约束相当于把解限制了,构造了一个半径为C\sqrt CC​的球,这时解要么在球内,要么在球面上。解的优化过程相当于移动方向为球上点的切线方向向量和负梯度向量相加后所得的向量方向。则只有当切线方向向量和负梯度向量平行时才会停止迭代。
以上就是正则化的思路推导过程。通常使用的正则化有L1、L2。
对于L2正则化,处处可微,容易求解。
对于L1正则化:由于是绝对值,故解空间是约束在一个多边形内,对于多边形,顶脚处的点不可微。如果点出现在多边形上,则除了顶点,同一条直线上的切线方向都是一样的,随着解的移动,解更容易出现在顶点处。而顶点处W的某些分量为0。出现稀疏解,现在了解参数的个数。
加了正则项的假设集仅仅是假设空间中一个满足某些条件的某些条件的特定假设集,满足VC理论,故优化得到的解仍然是模型参数的解。

分治NTT学习小记 简单的分治NTT讲义 阅读详情

相关推荐

在MDK5.37版本中添加Complier Version 5( 解决Missing Compiler Version 5 )

本文章仅作为个人学习记录,方法也是从其他博主的博客中得到的,链接如下:二、Keil——Missing Compiler Version 5 和 core_cm3.c 问题解决 - YI颗白菜 - 博客园 (cnblogs.com) 问题描述 更新最新的keil版本(MDK5.37)后,在编译以前版本的工程文件时,发现出现了非常多的报错,在网上搜索之后发现原来时编译器版本不匹配的问题,即MDK5.37中使用的是Version 6版本的编译器,而缺少Version 5,对于以前编写的工

leveling99的博客 1万+

(《机器学习》完整版系列)附录 ——6、指示函数及应用(将分段函数表达成一个式子的技术)

指示函数是将分段函数表达成一个式子的技术

qiy_icbc的博客 1213

别再手动调参了!用Optuna+PyTorch搞定Transformer时序预测超参数(附完整代码)

本文详细介绍了如何利用Optuna和PyTorch实现Transformer时序预测模型的自动化超参数调优。通过贝叶斯优化技术,显著提升单变量时序预测的效率和准确性,并附有完整代码实现。文章涵盖模型架构设计、数据预处理、Optuna调参实战及生产环境部署建议,为开发者提供一站式解决方案。

weixin_33704234的博客 581

殊途同归的策略梯度与零阶优化

©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络深度学习如此成功的一个巨大原因就是基于梯度的优化算法(SGD、Adam 等)能有效地求解大多数神经...

Paper weekly 1270

Rust 与 C/C++:Rust 比 C/C++ 更好还是只是“技能问题”?

对于许多嵌入式系统开发人员而言,的崛起似乎掀起了一股不小的浪潮,特别是在相较于传统的语言,Rust的“内存安全”优势让人眼前一亮。然而,是否可以将Rust作为C/C++的替代品?或者说,Rust是否真的比C/C++更好,抑或它只是一个“技能问题”呢?在嵌入式开发的领域,我观察到,尽管Rust在一些高性能、内存安全敏感的场景中受到了广泛推崇,但它在实际应用中的普及度,特别是在嵌入式领域,依然有限。今天,我会从多个角度探讨这个问题,并且分享一些对于Rust、C/C++以及嵌入式系统开发的个人见解。

qq_63315166的博客 1301

Modbus TCP 通信(C#)

【代码】Modbus TCP 通信(C#)

weixin_56229359的博客 1153

凸优化笔记

最优化问题和求解 在统计计算中广泛用到求最小(最大)值点或求方程的根的算法 比如,参数最大似然估计、置信区间的统计量法、回归分析参数估计、 惩罚似然估计、惩罚最小二乘估计,等等。 求最小值点或最大值点的问题称为最优化问题(或称优化问题),最优 化问题和求方程的根经常具有类似的算法。 有些情况下,可以得到解的解析表达式;更多的情况只能通过数值迭 代算法求解 梯度与海色阵 设 f(x) 是 $R^d $上的多元函数,如果 f(x) 有一阶偏导数,则记 f(x) 的 梯度向量为 g(x)=∇f(x)=(∂f(x)

feverfew1的博客 3061

chromium通信系统-ipcz系统(二)-ipcz系统代码实现-同Node通信

在chromium通信系统-mojo系统(一)-ipcz系统基本概念一文中我们介绍了ipcz的基本概念。 本章我们来通过代码分析它的实现。 handle系统 为了不对上层api暴露太多细节,实现解耦,也方便于传输,ipcz系统使用handle表示一个对象,handle类似于文件描述符,用IpczHandle类型表示ipcz系统内的一个对象。一个可以用IpczHandle 句柄表示的对象必须是APIObject子类。APIObject数据结构如下 class APIObject : public RefCou

woai110120130的专栏 1775

指示函数(indicator function)

需要注意的是,指示函数一般是一个离散的函数,它的取值只能是 0 或 1。此外,指示函数还可以被扩展到多维空间或更一般的情况下,例如对于一个区域而言,它的指示函数可以表示为一个布尔函数或特征函数。具体来说,对于一个集合或区域,其指示函数可以定义为一个函数 f(x),其中 x 是该集合或区域中的一个点。指示函数(indicator function)是一种常用于数学、物理学和计算机科学等领域中的函数,它通常用来表示一个集合或区域在某个点处的存在性或特征。当 x 在球体内部时,f(x) 的值为 1,否则为 0。

qq_44628813的博客 1万+

五、实战pxe安装ubuntu 22.04 软raid1(实际生产pxe配置)

这段配置文件是一个cloud-init的自动安装配置,用于自动化部署Ubuntu服务器操作系统。它定义了从系统身份、键盘布局、区域设置到磁盘分区和RAID配置的一系列设置,并且包含了在安装过程的最后阶段执行的一些命令。基础设置version: 1指定了autoinstall配置文件的版本。source定义了安装源,这里是ubuntu-server。identity设置了主机名(hostname)、用户(username)和密码(password注意这里的密码是经过加密的。键盘与语言设置。

jundao1997的专栏 1001

Sigrity Power SI 3D-EM Full Wave Extraction模式如何进行S参数提取和观测3D电磁场和远场实例分析(一)-差分过孔结构

Sigrity Power SI 3D-EM Full Wave Extraction模式如何进行S参数提取和观测3D电磁场和远场操作指导(一)详细介绍了3D-EM Full Wave Extraction全波S参数提取,下面以一个差分过孔结构进行实例分析,以下图为例。模式如何进行S参数提取和观测3D电磁场和远场实例分析(一)-差分过孔结构。是一个简单的4层板,top换层到bottom层的差分过孔结构。起始频率为100Mhz,截止频率为20Ghz,线性扫描。上面那根曲线是插损,下面那根线是回损。

weixin_54787054的博客 344

优化算法探究

一、优化算法简介 1、机器学习的本质 就是模型表征 + 模型评估 + 优化算法 2、优化算法的作用 优化算法所做的事情就是在模型表征空间中找到模型评估指标最好的模型 -- 不同的优化算法对应的模型表征和评估指标不尽相同 -- 比如经典的支持向量机对应的模型表征和评估指标分别为线性分类模型和最大间隔 -- 逻辑回归对应的模型表征和评估指标则分别为线性分类模型和交叉熵" 3、凸优化与非凸优化 凸:指的是顺着梯度方向走到底就一定是最优解。 -- ...

yangzixuan_0608的博客 1133

【乐鑫】唤醒词修改方法

乐鑫科技的语音识别模块(如ESP-SR)支持自定义唤醒词,但需通过官方工具链完成。

以实战经验介绍行业知识 828

【机器学习小记】【优化算法】deeplearning.ai course2 2nd week programming

优化算法数据集标准梯度下降分mini_batch第一步:打算顺序第二步:分割小批量梯度下降Momentum指数加权平均数Adam总结 目标: 1. 分割数据集(使用mini_batch) 2. 优化梯度下降算法: 2.1 标准梯度下降算法(不优化) 2.2 分mini_batch的梯度下降 2.3 Momentum 2.4 Adam 参考自:【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第二周作业 - 优化算法 数据集 标准梯度下降 W[l]=W[l]

LittleSeedling的博客 310

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

关于误差平面小记

关于误差平面小记

qq_45670407的博客 1199

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

G2O 小记1: 验证解析偏导的正确性

G2O 小记1: 验证解析偏导的正确性 <wangkangchn@163.com wkangk> 标签: g2o 图优化 偏导 正确性 解析 验证 目录G2O 小记1: 验证解析偏导的正确性说明示例 说明 当我们推导出偏导数的解析解时, 可以与数值微分进行对比, 来判断我们推导或实现的解析解是否正确. G2O 中 BaseFixedSizedEdge 下的 linearizeOplusN() 计算的就是数值偏导, 因此我们就可以利用这个函数的计算结果来与我们的解析解进行对比. 具体的请参考下面的

qq_38193114的博客 2071

Java小记2(第一周)

Java小记2(第一周) 目前,我也已经完成了数组的学习,现在我来进行一下前些日子学过的一些数组的知识。 数组的定义 数组是相同类型数据的有序集合。数组描述的是相同类型的若干个数据,按照一定的先后次序排列组合而成。其中,每一个数据称作一个元素,每个元素可以通过一个索引(下标)来访问它们。数组的三个基本特点: 1. 长度是确定的。数组一旦被创建,它的大小就是不可以改变的。 2. 其元素必须是相同类型,不允许出现混合类型。 3. 数组类型可以是任何数据类型,包括基本类型和引用类型。 二、数组的声..

m0_66226050的博客 204

一维差分小记

数组(每次租借的初始化),随后将差分数组前缀和(前面说过对差分数组进行前缀和可以应用所有改变),直接枚举,判断每日需求量是否大于每日教室“储备量”。可是每一次都枚举子区间的时间复杂度把差分的优势完全抵消,甚至成为了DFS的时间复杂度,肯定挂了。首先,先用一个简单的差分解决教室租借。用暴力的方法,差分完后枚举这段区间,发现不够直接。需要注意的是,本题并没有给出树的编号范围。因此,需要自己判断。(同时也是差分数组),在执行完差分后直接找最大值。,要想过此题,必须要有一个。的算法,第一个冒出来的就是。

asher0419的博客 1214

母函数小记

母函数小记 定义: 对于任意数列a0,a1,a2…an 即用如下方法与一个函数联系起来: G(x) = a0+a1x+a2x*2+a3x^3+….+anx^n 则称G(x)是数列的生成函数(generating function)

Nan 900

省赛小记

省赛小记         第一次参加省赛时,那年哥还小,没能取得成绩,这是第二次了,怀着一颗激动的心来到了农大,像往年一样,到了农大后,先到机房熟悉下环境,感觉农大的服务器真的差! 提交了代码,等了10分钟才出结果,环境还没熟悉好,老师就催我们要去宾馆了,当时确实感觉比较累,坐

liuwu265的专栏 1507

任意模数NTT学习小记

问题 求两个多项式A(x)A(x)A(x)和B(x)B(x)B(x)对一个不是NTT模数的数取模的结果。 拆系数FFT 设置一个阈值WWW(通常设置为2152^{15}215),将A(x),B(x)A(x),B(x)A(x),B(x)拆分成A=aW+b,B=cW+dA=aW+b,B=cW+dA=aW+b,B=cW+d,其中a,b,c,da,b,c,da,b,c,d均为多项式。则AB=acW2+(ad+bc)W+bdAB=acW^2+(ad+bc)W+bdAB=acW2+(ad+bc)W+bd 需要做777次

beginend 368

Pytorch学习小记--神经网络基础01

pytorch框架入门学习,包含一些常用方法函数的学习记录

oldstreetboys的博客 214

基于dijsktra算法的最短路径求解_【优化算法】多目标优化与帕累托解

多目标优化与帕累托解1. 多目标优化多目标优化问题(muhiob—jective optimization problem,MOP)的定义是什么呢?感觉从文献里面查询会比较准确,所以我就找了知网检索第一个文献《基于粒子群算法求解多目标优化问题》,里面说到了相关的形式。通常一个多目标优化问题可以表示如下:其中,决策向量,目标向量,和目标函数,是系统约束。我们会发现多目标优化问题与线性规划问...

weixin_39989033的博客 730

关于程序测试小记

      忙乎了近一个多礼拜,所有的时间和精力都花在了程序的测试上面。比较写code的时间,这已经是它好多倍了。让我有些措手不及的是,程序没有编译上的错误,但是测试运行的结果并非像我们预测的那样的完美。我完全不清楚是自己算法本身的缺陷,造成某个问题没有办法很好解决,还是我在编写程序上有了失误。因为测试的结果有一部分显示很正常,而似乎在处理有些条件下的输入的时候就有了差错了。我们想无头苍蝇那样,撞...

※一路风尘※ 104

AlexNet 学习小记

参考很多,仅为个人学习记录使用   论文:ImageNet Classification with Deep Convolutional Neural Networks 发表时间:2012 一、网络结构(pytorch) 输入:227 * 227 * 3 (论文中写 224) 第一块: conv: (227 - 11) / 4 + 1 = 55    3 -&gt; 64 pool...

baidu_38307192的博客 253

神经网络小记-cnn

卷积操作是卷积神经网络(CNN)中的核心操作之一,用于提取输入数据的特征。下面是CNN中的卷积操作的详细说明。假设我们有一个输入数据(图像)X,它是一个三维张量,具有形状(通道数,高度,宽度)。我们还有一组卷积核(滤波器)W,它也是一个三维张量,具有形状(输出通道数,输入通道数,卷积核高度,卷积核宽度)。卷积操作将输入数据和卷积核进行卷积运算,得到输出特征图。

qq_40140808的博客 444
上一篇: 概率图模型小记
下一篇: 采样小记
酸辣椒炒青椒
博客等级 码龄11年 9粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值