【学习笔记】昇思25天学习打卡(D06)初学07-函数式自动微分.ipynb

昇思25天学习打卡营第8天|MindSpore-SSD目标检测 SSD(Single Shot MultiBox Detector)是一种高效的目标检测算法,它能够在一次前向传播中同时完成候选区域的提取和目标的分类与定位。模型结构说明,数据准备,损失函数 阅读详情

函数式自动微分

神经网络的训练主要使用反向传播算法,模型预测值(logits)与正确标签(label)送入损失函数(loss function)获得loss,然后进行反向传播计算,求得梯度(gradients),最终更新至模型参数(parameters)。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,该功能对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。

MindSpore使用函数式自动微分的设计理念,提供更接近于数学语义的自动微分接口grad和value_and_grad。下面我们使用一个简单的单层线性变换模型进行介绍。

函数与计算图

计算图是用图论语言表示数学函数的一种方式,也是深度学习框架表达神经网络模型的统一方法。我们将根据下面的计算图构造计算函数和神经网络。

在这里插入图片描述

在这个模型中,xxx为输入,yyy为正确值,www和bbb是我们需要优化的参数。

微分函数与梯度计算

为了优化模型参数,需要求参数对loss的导数:∂loss⁡∂w\frac{\partial \operatorname{loss}}{\partial w}∂w∂loss​和∂loss⁡∂b\frac{\partial \operatorname{loss}}{\partial b}∂b∂loss​,此时我们调用mindspore.grad函数,来获得function的微分函数。

这里使用了grad函数的两个入参,分别为:

  • fn:待求导的函数。
  • grad_position:指定求导输入位置的索引。

由于我们对www和bbb求导,因此配置其在function入参对应的位置(2, 3)。

使用grad获得微分函数是一种函数变换,即输入为函数,输出也为函数。

Stop Gradient

通常情况下,求导时会求loss对参数的导数,因此函数的输出只有loss一项。当我们希望函数输出多项时,微分函数会求所有输出项对参数的导数。此时如果想实现对某个输出项的梯度截断,或消除某个Tensor对梯度的影响,需要用到Stop Gradient操作。

Auxiliary data

Auxiliary data意为辅助数据,是函数除第一个输出项外的其他输出。通常我们会将函数的loss设置为函数的第一个输出,其他的输出即为辅助数据。

grad和value_and_grad提供has_aux参数,当其设置为True时,可以自动实现前文手动添加stop_gradient的功能,满足返回辅助数据的同时不影响梯度计算的效果。

神经网络梯度计算

前述章节主要根据计算图对应的函数介绍了MindSpore的函数式自动微分,但我们的神经网络构造是继承自面向对象编程范式的nn.Cell。接下来我们通过Cell构造同样的神经网络,利用函数式自动微分来实现反向传播。

首先我们继承nn.Cell构造单层线性变换神经网络。这里我们直接使用前文的www、bbb作为模型参数,使用mindspore.Parameter进行包装后,作为内部属性,并在construct内实现相同的Tensor操作。

完成后,由于需要使用函数式自动微分,需要将神经网络和损失函数的调用封装为一个前向计算函数。

完成后,我们使用value_and_grad接口获得微分函数,用于计算梯度。

由于使用Cell封装神经网络模型,模型参数为Cell的内部属性,此时我们不需要使用grad_position指定对函数输入求导,因此将其配置为None。对模型参数求导时,我们使用weights参数,使用model.trainable_params()方法从Cell中取出可以求导的参数。

机器学习入门路径选择:数学、课程、项目还是混合? 机器学习入门不是单一知识堆砌,而是认知负荷、时间颗粒度与神经可塑性共同作用的过程。从线性代数的几何直觉到PyTorch张量操作,从Hugging Face三行代码调用到Streamlit一键部署Web应用,真实学习发生在‘可感知—可操作—可验证’的闭环中。项目驱动路径以最小可行产品(MVP)降低启动门槛,课程体系派通过高交互密度强化理解,数学筑基者聚焦支撑实践的最小可行数学框架(MVMM),而混合进化派则依据业务问题动态切换知识获取方式。本文基于327位从业者的实战反馈,揭示‘学不会’常源于路径错配而非能力 阅读详情

相关推荐

格拉姆角场(GAF)实战:用Python实现时间序列图像化处理

本文深入解析了格拉姆角场(GAF)技术,这是一种将一维时间序列转化为二维图像特征的方法,以便利用卷积神经网络(CNN)等图像模型进行深度分析。文章通过Python实战代码,详细演示了GASF和GADF两种核心转换的实现过程,并探讨了其在时序数据分类任务中的应用,为故障预警、金融模式识别等场景提供了强大的图像驱动分析视角。

weixin_29079671的博客 275

昇思25天学习打卡营第4天|函数式自动微分

今天是昇思MindSpore打卡营的第四天,我学习了函数式自动微分的知识。神经网络的训练过程中,反向传播算法通过计算梯度来更新模型参数,函数式自动微分在此过程中起到了关键作用。自动微分能够自动计算可导函数在某点处的导数值,将复杂的数学运算分解为一系列简单的基本运算。这种机制对用户屏蔽了求导的细节和过程,使得我们可以专注于模型的设计和训练,大大降低了使用门槛。在实际操作中,我体会到了自动微分的便利性。通过MindSpore的自动微分功能,我们可以轻松地进行反向传播计算,获取梯度,并更新模型参数。

jing1452的博客 760

自动化学报Ctex+texstudio配置方法

自动化学报Latex的模板win10使用方法(CTEX+texstudio)

zxy15924462502的博客 7383

111111

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. auto-tune 0.1.0 requires decorator, which is not instal

weixin_54108732的博客 435

别再怕DRIVER_VERIFIER_DMA_VIOLATION蓝屏:手把手教你用WinDbg分析IOMMU与驱动冲突

本文深入解析DRIVER_VERIFIER_DMA_VIOLATION蓝屏错误,从IOMMU原理到实战排错,手把手教你使用WinDbg分析驱动冲突。通过理解DMA与IOMMU的核心机制、搭建分析环境、解读DMAR表与设备拓扑,最终定位问题驱动并提供解决方案,帮助开发者和IT运维人员有效应对此类系统崩溃问题。

weixin_30298497的博客 805

Matlab实战:水声信号DEMON谱分析从入门到精通(附完整源码)

本文详细介绍了使用Matlab进行水声信号DEMON谱分析的完整流程,从基础理论到实战应用,涵盖信号预处理、包络提取、频谱分析等关键步骤,并附完整源码。特别针对水声通信中的低信噪比环境,提供了多种优化方案和性能提升技巧,帮助读者快速掌握这一水下目标检测的核心技术。

gamma的博客 297

​​​​昇思25天学习打卡营第7天|LSTM+CRF序列标注¶

序列标注指给定输入序列,给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取,包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示,清华大学和北京是地名,需要将其识别,我们对每个输入的单词预测其标签,最后根据标签来识别实体。

jing1452的博客 918

MITRE ATT&CK超详细学习笔记-01(背景,术语,案例)

MITRE是一个向美国政府提供系统工程、研究开发和信息技术支持的非营利性组织,于1958年从麻省理工学院林肯实验室分离出来后参与了许多最高机密的政府项目,开展了大量的网络安全实践。例如,MITRE公司在1999年发起了常见披露漏洞项目(CVE,CommonVulnera-bilitiesandExposures)并维护至今。其后,MITRE公司还维护了常见缺陷列表(CWE,CommonWeaknessEnumeration)这个安全漏洞词典。.........

Zichel77的博客 1万+

昇思25天学习打卡营第21天|基于MindSpore的DCGAN生成漫画头像

生成对抗网络(GAN)的基础原理是通过两个互相博弈的模型,生成模型和判别模型,来实现对数据分布的学习并产生新的、与真实数据极其相似的数据实例。DCGAN(深度卷积生成对抗网络)是一种利用深度卷积网络改进的生成对抗网络(GAN)模型,它在提高训练稳定性和生成图像质量方面取得了显著成果。

pblh123的专栏 1301

仿真学习系列(二):ADS仿真直观理解方波与频谱分量的关系

在高速电路设计中,我们常常听到一句话:“信号其实不是电压在传输,而是频率在传播。” 这句话看似抽象,却揭示了信号世界的核心本质——任何时域波形,都可以被拆解为一系列不同频率的正弦波。 那么,一个看似简单的方波,究竟由哪些频率成分组成?为什么在示波器上,有的方波上升沿又快又“方”,而有的却“圆润”得多?这些差异背后,隐藏的正是高频分量的力量。 本文将通过使用 Keysight ADS,从零搭建仿真电路,直观地观察方波与其谐波成分之间的关系。

案例文章,高速信号 815

XDMA流传输模式

XDMA 流传输模式(Streaming DMA)​ 是 Xilinx FPGA 通过 PCIe 与主机进行 ​实时流式数据传输 的核心机制,

浩瀚之水的专栏 3437

【学习笔记】昇思25天学习打卡(D09)初学10-使用静态图加速.ipynb

AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。

UnseenMe的博客 1063

openclaw通俗入门系列9——流式传输 + 分块

流式传输 = 不等写完就开始发。分块流式传输是把长回复切成几条消息发(所有渠道),草稿流式传输是像打字一样实时显示(仅 Telegram)。可以配置块大小、发送时机、合并规则、类人延迟。

m0_60605453的博客 508

【学习笔记】昇思25天学习打卡(D13)CV04-Shufflenet图像分类.ipynb

ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型,和MobileNet, SqueezeNet等一样主要应用在移动端,所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作:Pointwise Group Convolution和Channel Shuffle,这在保持精度的同时大大降低了模型的计算量。因此,ShuffleNetV1和MobileNet类似,都是通过设计更高效的网络结构来实现模型的压缩和加速。

UnseenMe的博客 691

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

华为MindSpore入门

总体介绍MindSpore 是华为开发的全场景 AI 计算框架,旨在提供高效、灵活、安全的深度学习平台,适用于端、边、云等多种场景。作为一个开源项目,MindSpore 支持多种硬件平台,提供简洁易用的 API,使开发者能够快速构建、训练和部署深度学习模型。

xiao_tianhan的博客 1148

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

【MindSpore学习打卡】初学教程-05数据变化 Transforms-使用MindSpore进行数据变换

MindSpore的模块提供了一系列面向图像、文本、音频等不同数据类型的Transforms。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。

weixin_43427267的博客 1041

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Mindspore 初学教程 - 4. 数据集 Dataset

模块提供了一些常用的公开数据集和标准格式数据集的加载 API。对于 MindSpore 来说,暂不支持直接加载的数据集,可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集,然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集,下面分别对其进行介绍。

Wolf_xujie的博客 1765

Mindspore 初学教程 - 3. Tensor 张量

张量(Tensor)是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在n维空间内,有nr个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。r称为该张量的秩或阶(与矩阵的秩和阶均无关系)。张量是一种特殊的数据结构,与数组和矩阵非常相似。张量()是MindSpore 网络运算中的基本数据结构。

Wolf_xujie的博客 1176

昇思MindSpore学习笔记7--函数式自动微分

介绍了昇思MindSpore神经网络训练反向传播算法中函数式自动微分的使用方法和步骤。包括构造计算函数和神经网络、grad获得微分函数,以及如何处理停止渐变、获取辅助数据等内容。

muren的专栏 766

Mindspore-训练模型

Mindspore-训练模型

你在看屏幕的同时,屏幕也在注视着你 8338

Easy Deep Learning——PyTorch中的自动微分

为什么选择这一章作为第一章而不是介绍深度学习的核心数据结构张量呢?原因在于张量运算实际就是矩阵的运算,另外PyTorch关于张量的数据处理函数很多,没必要逐个介绍,用到的时候去查文档即可,介绍过多张量的计算方式其实并无意义。 在入门深度学习时,我相信初学者最关心的是什么是深度学习?它的基本原理是怎么样的,而不是上来就列一大堆代数式,然后去进行各种了数据计算。

陈子青的博客 1693

MindSpore初级教程-1.基本介绍

基本介绍 本节将会整体对华为AI全栈进行介绍,并介绍MindSpore在其中的位置,如果对MindSpore兴趣的开发者,最后可以参与MindSpore的社区并一键三连(Watch/Star/Fork)。 华为昇腾AI全栈介绍 昇腾计算,是基于昇腾系列处理器构建的全栈AI计算基础设施及应用,包括昇腾Ascend系列芯片、Altas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。 其中华为Atlas人工智能计算解决方案,是基于昇腾系列AI处理器,通过

朝闻道 3695

MindSpore GPU异构算子全流程开发指导

此文档详细介绍了 MindSpore GPU 异构算子开发流程,主要帮助大家了解 GPU 算子开发需要写什么,各种文件的作用以及应该怎么写这些文件

qq_43582235的博客 1939

Zig 设计哲学与核心特性 · 0.17 学习手册

本文为Zig 0.17完整学习手册,基于B站19讲视频整理,全面适配Zig 0.17.1版本。涵盖设计哲学(如“一切可见”、显式内存分配)、核心特性(?T、错误即值、comptime、SIMD)及工程实践(Allocator心智模型、零堆分配、Async I/O)。所有代码经实测通过,标注过时写法并提供迁移指南,附30个可运行示例与附录索引,助力开发者从入门迈向系统级编程。

代码过客 145

[学习笔记]超越超级大循环与原生RTOS:事件驱动架构如何改变嵌入式固件的可扩展性

RTC:事件处理器一旦开始,全部状态迁移、进出动作、输出事件必须全部执行完毕才返回;同一个组件,当前处理没结束,不会开始下一条事件。这不是架构给状态机额外施加的限制,这是UML状态图等全部状态机形式化本身固有的语义要求。如果迁移中途可以被打断,状态机会停留在未定义的中间状态。RTC保证两次事件之间,状态机永远处于明确定义的合法状态,便于分析与测试。

MiKiJT的博客 241
上一篇: 【学习笔记】昇思25天学习打卡(D05)初学06-网络构建.ipynb
下一篇: 【学习笔记】昇思25天学习打卡(D07)初学08-模型训练.ipynb
UnseenMe
博客等级 码龄20年 193粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值