【矩阵运算】矩阵的迹以及迹对矩阵求导总结

矩阵求导(三)-- 一阶微分法 矩阵微分是计算标量、向量或者矩阵函数关于其向量或矩阵变元的偏导的有效数学工具。本篇主要介绍矩阵的迹、一阶实矩阵微分的有关理论、矩阵微分的运算法则及应用。熟练掌握这一节的方法,对于标量对矩阵和向量的求导可以轻松求解。 阅读详情

矩阵求导最终都是华为标量求导,迹就是最简单的衡量标量 一定要掌握

迹求导原因

矩阵求导最终都是华为标量求导,迹就是最简单的衡量标量 一定要掌握

总结

T r ( A B ) = T r ( B A ) Tr(AB) =Tr(BA) Tr(AB)=Tr(BA)
T r ( A B C ) = T r ( B C A ) = T r ( C A B ) Tr(ABC) = Tr(BCA) = Tr(CAB) Tr(ABC)=Tr(BCA)=Tr(CAB)
T r ( A ) = T r ( A ′ ) Tr(A) = Tr(A') Tr(A)=Tr(A′)
d ( T r ( X B ) ) = d ( T r ( B X ) ) = B ′ d(Tr(XB))=d(Tr(BX)) = B' d(Tr(XB))=d(Tr(BX))=B′
X作为自变量(矩阵),若
d ( T r ( X ′ B ) ) = d ( T r ( B ′ X ) = B d(Tr(X'B)) = d(Tr(B'X)=B d(Tr(X′B))=d(Tr(B′X)=B
d T r ( A ′ X B ′ ) = d T r ( B X ′ A ) = d T r ( X ′ A B ) = A B dTr(A'XB')=dTr(BX'A)=dTr(X'AB)=AB dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X:
d T r ( A X B X ′ ) = T r ( A X B d ( X ′ ) ) + T r ( X B ′ d ( X ′ ) A ′ ) = A X B + A ′ X B ′ dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB' dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′

技巧

掌握根本的定义公式足够应付形式的千变万化;
【定义】矩阵迹就是对对角线求和:
T r ( A ) = Σ a i i Tr(A) = \Sigma{a_{ii}} Tr(A)=Σaii​
自然,转置时候,aii不动的,Tr(A) = Tr(A’)
【AB矩阵乘】AB大小分别为mxn和nxm,那么迹就是
T r ( A B ) = Σ i m Σ j n a i j b j i Tr(AB) = \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}} Tr(AB)=Σim​Σjn​aij​bji​
关键就在AB乘积,迹是遍历两个维度m,n维度的有序ab乘积,所以颠倒乘法顺序,仍然是 T r ( A B ) = Σ j n Σ i m b j i a i j = T r ( B A ) Tr(AB) = \Sigma{_j^n \Sigma{_i^mb_{ji} a_{ij}}}=Tr(BA) Tr(AB)=Σjn​Σim​bji​aij​=Tr(BA)没有任何差异。
【求导】因为和 X i j X_{ij} Xij​配对的永远是 b j i b_{ji} bji​,所以有
d ( T r ( A B ) ) / d ( a j i ) = d ( Σ i m Σ j n a i j b j i ) / d ( a i j ) = b j i d(Tr(AB))/d(a_{ji}) =d( \Sigma{_i^m \Sigma{_j^n a_{ij}b_{ji}}})/d(a_{ij})=b_{ji} d(Tr(AB))/d(aji​)=d(Σim​Σjn​aij​bji​)/d(aij​)=bji​
所以自然Tr(AB)偏导为B’,有个转置,这是由于矩阵乘法行列相差的关联关系导致的。

所有相关的偏导都会有这个结果:
d ( T r ( X ′ B ) ) = d ( T r ( B ′ X ) = B d(Tr(X'B)) = d(Tr(B'X)=B d(Tr(X′B))=d(Tr(B′X)=B
d T r ( A ′ X B ′ ) = d T r ( B X ′ A ) = d T r ( X ′ A B ) = A B dTr(A'XB')=dTr(BX'A)=dTr(X'AB)=AB dTr(A′XB′)=dTr(BX′A)=dTr(X′AB)=AB
还有终极的二次X:
d T r ( A X B X ′ ) = T r ( A X B d ( X ′ ) ) + T r ( X B ′ d ( X ′ ) A ′ ) = A X B + A ′ X B ′ dTr(AXBX')=Tr(AXBd(X'))+Tr(XB'd(X')A')=AXB+A'XB' dTr(AXBX′)=Tr(AXBd(X′))+Tr(XB′d(X′)A′)=AXB+A′XB′

矩阵的 Frobenius 范数及其求偏导法则 1. 矩阵的迹求导法则 2. 矩阵的Frobenius范数及其求偏导法则 3. 复杂矩阵问题求导方法 阅读详情

相关推荐

机器学习中对矩阵的迹(trace)求导的一些操作

机器学习中经常涉及到一些优化工作,尤其是对F-Norm转化成矩阵的迹(trace)来求导的,这里写一下常用的情况,供参考

咚咚锵的博客 2万+

动手学深度学习——矩阵求导之矩阵的迹和微分

文章主要介绍了矩阵迹的性质,并将矩阵微分引入到矩阵求导中。虽然在法则和公式中涉及到了矩阵变元的实矩阵函数,但是并不介绍如何求导实矩阵函数,只介绍矩阵变元的实值标量函数利用微分求导的过程(实矩阵函数的求导过程远比实值标量函数的求导过程复杂)。...

时生的博客 9530

矩阵运算_迹的相关性质

0. 矩阵迹的定义 在线性代数中,一个n×n的对角矩阵A的主对角线(从左上方至右下方的对角线)上各个元素的总和被称为矩阵A的迹(或迹数),一般记作tr(A)。例子如下: 1. 性质 [1] 矩阵的迹等于其转置的迹,定义可以看出来。 [2] 连乘的矩阵的迹,循环交换位置后,迹不变。即一直将第一个矩阵放到最后一个;当然反着不断把最后一个放到第一个也可以。 [3] 迹等于特征根之和,这是最常见的性质了 [4] x, y 都是 n 维列向量, x乘以y转置的迹 等于 y的转置直接...

惊鸿一博 2万+

【机器学习】汇总详解:矩阵的迹以及迹对矩阵求导

矩阵的迹概念        矩阵的迹 就是 矩阵的主对角线上所有元素的和。        矩阵A的迹,记作tr(A),可知tra(A)=∑aii,1<=i<=n。定理:tr(AB) = tr(BA)证明定理:tr(ABC) = tr(CAB) = tr(BCA)    这个是tr(AB)=tr(BA)的推广定理,很容易证明。    根据定理tr(AB)=tr(BA)可知:       ...

蔚蓝的天空Tom 3万+

《Kubernetes部署篇:基于x86_64+aarch64架构CPU+containerd一键离线部署容器版K8S1.33.3高可用集群》

《Kubernetes部署篇:基于x86_64+aarch64架构CPU+containerd一键离线部署容器版K8S1.33.3高可用集群》

东城绝神 1367

ESP32+micro-ROS机器人开发实战:轻量级ROS2嵌入式集成

ROS2是现代机器人软件栈的核心框架,其基于DDS的分布式通信与QoS保障能力为多节点协同提供基础支撑;而micro-ROS作为专为微控制器优化的ROS2兼容中间件,解决了资源受限设备(如ESP32)接入ROS2生态的关键难题。其通过分层架构将DDS通信下沉至上位机Agent,使MCU仅需运行轻量Client,大幅降低内存开销(实测<180KB)并保留标准ROS2接口语义。该方案广泛应用于教育机器人、移动底盘、传感器节点等嵌入式场景,尤其适合基于ESP-IDF开发的Wi-Fi/BLE物联网机器人系统。本文以

weixin_29025501的博客 398

矩阵的迹tr运算及矩阵求导公式

一、矩阵的迹tr运算 二、矩阵的迹对矩阵求偏导 三、标量函数和矩阵函数对矩阵求偏导 1.向量*矩阵,对矩阵求导 ...

zhinanpolang的专栏 3万+

Protege新手入门:5分钟搞定本体建模基础(附实战案例)

本文为Protege本体建模新手提供了一份快速入门指南。通过构建一个关于“披萨”的实战案例,详细讲解了从环境准备、定义核心类(Classes)、建立对象属性(Object Properties)到设置数据属性(Data Properties)和创建个体的完整流程。文章旨在帮助读者绕过复杂理论,在5分钟内直观掌握本体建模的基础操作,快速建立知识图谱构建的信心。

weixin_28335283的博客 281

Matrix derivatives(矩阵求导)

11.对于一个函数f:为一个m*n矩阵到实数的映射。定义f对于A的导数为: ∇Af(A)也是一个m*n的矩阵,其中的元素(i,j)为∂f/∂Aij。 22.同样,引入迹(trace)的概念。 对一个n*n的矩阵A,迹定义为矩阵A的对角线元素之和。 如果a是一个实数(i.e., a 1-by-1 matrix),则tr a=a。迹的性质如下,

BoaHock 1535

AFE芯片做什么用的?AFE(Analog Front End) 模拟前端

AFE采样精度的影响因素非常多,需要综合考虑各种因素,并根据实际应用场景来选择合适的参数和方法。通过减少噪声、提高采样频率、调节放大器增益、降低电源噪声、优化传输线路、进行温度补偿、选择合适的ADC分辨率、根据信号类型选择合适的AFE参数、进行器件匹配和校准等方法,可以提高AFE的采样精度,从而更好地满足各种应用需求。版权声明:本文为优快云博主「czf.Forver」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

学海无涯的专栏 4万+

从‘查理复用’到TM52F1363:深入剖析5脚188数码管的驱动原理与避坑指南

本文深入解析了5脚188数码管的驱动原理,重点介绍了查理复用技术如何通过5个IO引脚高效驱动188段显示,并详细探讨了TM52F1363单片机的寄存器配置与驱动实现。文章还提供了常见问题的解决方案和性能优化技巧,帮助开发者避免实际应用中的各种陷阱。

weixin_29159441的博客 477

矩阵求导

矩阵求导 A,BA, BA,B 均为矩阵,∣A∣| A |∣A∣ 为A 的行列式, $ A ^{-1}$ 为A 的逆矩阵。 矩阵运算 可以查看更多矩阵运算知识。 图片截图来源于:https://github.com/RankXiaoLong/ECONOMETRICS-Toturials ∂ tr(AB)∂A=B∂ ∣A∣∂A=∣A∣A−1∂ln⁡A∂A=A−1\begin{aligned} \frac{ \partial ~tr{(AB)}}{\partial {A}} &

Rank_fxl的博客 612

调用D3D11硬解码和渲染VideoProcessor版本

在https://blog.youkuaiyun.com/robothn/article/details/78781321一文中使用shader来显示FFMPEG硬解码后的YUV420P,本文调用D3D11的videoprocessor来进行图像空间变换和尺寸变换,取得了较好的效果。 1.初始化D3D11设备、videodevice等数据结构 FFMPEG调用D3D11硬解码,获取其对应的device,videodevice。。。 FFMPEG使用av_hwdevice_find_type_by_name调用D3d11

zlyadvocate的博客 9283

矩阵求导与矩阵的迹

比较有价值的博文:矩阵求导与矩阵的迹

xuliwei950318的博客 1312

MATLAB 基于深度学习的步态识别算法仿真

步态识别是一种通过分析人体行走方式来识别身份的技术。基于深度学习的步态识别算法利用卷积神经网络 (CNN) 提取步态特征,并通过分类器进行身份识别。基于深度学习的步态识别算法是实现身份识别的重要手段,具有广泛的应用前景。MATLAB 提供了丰富的工具和函数,可以方便地进行算法仿真和性能评估。

走向CTO的路上... 517

低功耗 AI 人体存在检测系统:智能照明与安防的高效解决方案

低功耗 AI 人体存在检测系统通过 “ESP32-C3 主控 + HX7110 AI 模块” 的硬件组合,搭配双重检测算法与深度睡眠机制,既解决了传统检测方案的误报问题,又满足了长时间低功耗运行需求。系统接线简单、代码可直接移植,可快速集成到智能照明、安防监控等物联网设备中,具备广泛的应用前景。

weixin_42300449的博客 224

矩阵的迹以及迹对矩阵求导

ref: https://blog.youkuaiyun.com/u012421852/article/details/79594933 矩阵的迹概念 矩阵的迹 就是 矩阵的主对角线上所有元素的和。 矩阵A的迹,记作tr(A),可知tra(A)=∑aii,1<=i<=n。 定理:tr(AB) = tr(BA) 证明 定理:tr(ABC) = tr(C...

JIN JI 2013.12.24 1万+

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

矩阵的求导

目录 1布局(Layout) 1.1矩阵向量求导引入 1.2矩阵向量求导定义 1.3矩阵向量求导布局 1.4 分母布局的另一种求解方法 1.5 总结 2基本的求导规则 2.1向量对标量求导(相对于数量变量的微分,即自变量是数量变量) 2.1.1 定义 2.1.2 运算法则 2.2标量y 对向量x求导(数量函数相对于向量的微分) 2.2.1 定义 2.2...

weixin_39910711的博客 4万+

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

矩阵的迹(Trace)及相关性质证明

1 定义 迹运算返回的是矩阵对角元素的和: Tr(A)=∑iAii Tr(A)=\sum_iA_{ii} Tr(A)=i∑​Aii​ 若不使用求和符号,有些矩阵运算很难描述,而通过矩阵乘法和迹运算符号可以清楚地表示。例如,迹运算提供了另一种描述矩阵Frobenius范数的方式: ∣∣A∣∣F=Tr(AAT)||A||_F=\sqrt{Tr(AA^T)}∣∣A∣∣F​=Tr(AAT)​ 2 性质 用迹运算表示表达式,我们可以使用很多有用的等式巧妙地处理表达式。例如迹运算在转置运算下是不变的: Tr(A)=Tr

仅仅用于个人记录,侵删 10万+

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

矩阵迹(trace), 行列式(determinate)

1. 迹(trace) 矩阵的迹(trace)表示矩阵 A AA 主对角线所有元素的和 2. 行列式(determinant) 矩阵 A AA 的行列式值记为 det(A)det ( A )det(A)。 https://blog.youkuaiyun.com/robert_chen1988/article/details/88576194

Anne033的博客 12万+

线性代数之 矩阵求导(4)矩阵微分,迹与求导

线性代数之 矩阵求导(4)迹与矩阵求导前言矩阵微分定义矩阵微分计算法则常矩阵线性乘积转置迹通过矩阵微分进行求导常用的矩阵微分后记 前言 本次将记录如何进行矩阵求导(标量对矩阵)。由于矩阵求导涉及行列式、迹,因此比标量对向量、向量对向量都要复杂一些。 矩阵微分定义 定义矩阵XXX、实值函数f(X)f(X)f(X)的微分和偏导矩阵: X=[x11x12…x1nx21x22…x2n…………xn1xn2…xnn]dX=[dx11dx12…dx1ndx21dx22…dx2n…………dxn1dxn2…dxnn]∂f(X

qq_41035283的博客 5223

矩阵运算及求导

基本运算   矩阵的常见运算如下: 符号 描述 A−1A^{-1}A−1 矩阵的逆 det⁡(A)\det(A)det(A) A的行列式 Tr(A)Tr(A)Tr(A) 矩阵的迹 eig(A)eig(A)eig(A) 矩阵的特征值 ATA^TAT A的转置 ∥A∥\|A\|∥A∥ A的范数 A∘BA\circ BA∘B 哈达玛积 A⊗BA\otimes ...

rauchy的博客 9586

矩阵的迹和求导

矩阵的迹和求导

秦枟的博客 2986

矩阵的迹运算

本文总结了矩阵迹的定义与主要性质。

m0_68523169的博客 2053

转载:汇总详解:矩阵的迹以及迹对矩阵求导

矩阵的迹概念        矩阵的迹 就是 矩阵的主对角线上所有元素的和。  &nbsp...

buck0818的博客 2681
上一篇: musi算法使用简记
下一篇: python装饰器,为了不修改源函数前提下,扩展函数功能
飞凡可期
博客等级 码龄11年 34粉丝 117原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值