矩阵求导和BP中的Shape总结

最新推荐文章于 2025-07-18 16:00:59 发布
最新推荐文章于 2025-07-18 16:00:59 发布
阅读量31 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： knowledge 机器学习 文章标签： 矩阵 sklearn 线性代数
原文链接：https://zhuanlan.zhihu.com/p/24863977

先说求偏导的几种情况：

几个值得注意的点：

1. 注意vector by vector，如果y是m*1,x是n*1，那么偏导结果的shape是m*n

2. 所有Scalar by vector、Scale by Maxtrix这些，结果的shape都是和denominator的shape一样的。而且对于deep learning来说，基本上是loss对某个参数的偏导，所以理解这个就很有用

3. 可以vector by matrix，但是定义之后就是个3维数组了，实际用的基本上就是loss对某个参数的偏导

当涉及到梯度传播的chain rule时，​​​​​​​由于loss对W和X的偏导左右乘转置的关系不一致，而且不太好记，所以弄了这么一个"Dimension Balancing"的方式，反正loss对W和X的偏导结果的shape是m*w，和下图中的delta的shape相同，在已知W、X和Z的shape的情况下，就可以准确推断出loss对W和X的偏导的结果

当存在激活函数的时候，注意下面的z和h都是分别是长度为n的向量

 这时Loss对hidden layer的loss可以用hadamard product（其实就是逐对乘，圆圈记号）或者对角矩阵的方式去表达

 关于"Dimension Balancing"的推导实际上比较简单，就是转置有点绕（例如下图），所以干脆不饶了，知道这个Dimension Balancing的策略方便快速理解shape

 机器学习中还有很多梯度的推导，可以利用trace来回避转置不停绕的问题，例如PCA的推导：

其他矩阵求导的场景还有很多，下面转俩博客：

矩阵求导术（上） - 知乎

矩阵求导术（下） - 知乎

『矩阵论笔记』中篇：张量CP分解的详细推导以及Python实现
AI新视界
12-29 1513
张量CP分解的详细数学推导以及Python实现(中)
python矩阵求导代码_搞点枯燥的公式推导：深度学习中的矩阵求导
weixin_39847437的博客
12-15 1661
最近看到一篇极视角转的文章算法推导核心！一次性梳理清楚，是时候搞定矩阵求导了！，想到前不久面试爱奇艺的时候一面的小哥一直让我手推全连接的公式推导，以及用Python+Numpy将过程实现，感觉自己对深度学习核心之一的矩阵求导并不是很熟悉(对链式法则更熟悉的是单元素标量的求导)，为此写下这篇作为后续工作的笔记之用，也供需要的小伙伴查询。前向传播代码大部分参考Python——numpy实现简单BP神经...
从矩阵链式求导的角度来深入理解BP算法（原理+代码）
KI的博客
01-11 3426
从矩阵链式求导的角度来深入理解BP算法（原理+代码）
矩阵运算与求导全面教程
Rhett_Butler0922的博客
04-25 891
矩阵运算与矩阵求导是机器学习、强化学习、数值计算、量子计算、机器人学等领域的核心数学工具。本教程从基础概念出发，逐步深入高级主题，结合理论推导、编程实现、跨领域应用和数值优化技巧，旨在帮助读者全面掌握矩阵相关知识，并灵活应用于实际问题。矩阵是一个按行和列排列的数字阵列，通常表示为： A=[a11a12⋯a1na21a22⋯a2n⋮⋮⋱⋮am1am2⋯amn]A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \
学习笔记三：MLP基本原理、矩阵求导术推反向传播、激活函数、Xavier
qq_56591814的博客
05-06 3875
文章目录一、BP神经网络（MLP）1.1 感知机模型及其局限性1.2 BP神经网络基本原理1.3 softmax多分类、求导1.4 二分类使用softmax还是sigmoid好？1.5 为什么要用激活函数？1.6 梯度下降和链式求导1.7度量学习二、矩阵求导术2.1 标量对向量求导2.2 向量对向量求导2.3 标量对矩阵的矩阵2.4 向量求导及链式法则2.5 BP反向传播2.5 激活函数及其导数三、神经网络调优3.1 激活函数得选型3.2 Relu激活函数及其变体3.3 高斯误差线性单元激活函数gelu3.
【Autograd】深入理解BP与自动求导
CD's Coding
10-20 5950
“所有数值计算归根结底是一系列有限的可微算子的组合” ——《An introduction to automatic differentiation》 BTW：也可以点击传送门去我的个人主页看这篇文章哦~ 符号语言的导数 《Deep Learning》 Chap 6.5.5 代数表达式和计算图都对符号(symbol) 或不具有特定值的变量进行操作。这些代数或者基于图的表达式被称为符号
一、最简单的神经网络--Bp神经网络
热门推荐
weixin_40432828的博客
09-04 21万+
        在之前的文章中，有提到过，所谓的 AI 技术，本质上是一种数据处理处理技术，它的强大来自于两方面：1.互联网的发展带来的海量数据信息  2.计算机深度学习算法的快速发展。 所以说 AI 其实并没有什么神秘，只是在算法上更为复杂。要想理解这一点，我们要从一个问题说起：找数据的规律...         如果你是一名上过大学的人，有几个数学上的方法你应该不太陌生：线性拟合，多项式拟合...
BP神经网络原理推导和实现
Yuansheng She's blog
05-21 1133
（Backpropagation Neural Network，误差反向传播神经网络）是一种经典的，广泛应用于分类、回归等任务。它的核心是通过动态调整网络参数（权重和偏置），使网络输出逐渐逼近真实值。
BP算法实现
LifeBackwards的专栏
12-26 678
BP神经网络算法实现
bp神经网络分类matlab代码_4层bp神经网络详细推导以及代码(矩阵化运算)
weixin_29240343的博客
01-18 1171
模型结构： 4层bp模型如下代码：使用方法； python bp_train_use_matrix.py 0.16# coding: utf-8 import torch import sys # 4层神经网络 # x—>h—>m—>y # y = tanh(tanh(tanh(x@Wx)@Wh)@Wm) # h=torch.tanh(x@Wx) # m=torch....
神经网络基础-梯度下降和BP算法
weixin_38206214的博客
07-21 1万+
在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。 本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课，推荐  本文默认你已经大致了解深度学习的简单概念，如果需要更简单的例子，可以参考吴恩达老师的入门课程： http://study.163.com/courses-search?keyword=%E5%90%B4%E6...
利用torch自动求导机制理解反向传播
weixin_42924890的博客
02-22 1292
使用pytorch自动求导机制验证反向传播的计算过程
74、搜索二维矩阵
qq_56272102的博客
07-16 232
如果出现down=-1，说明matrix[0][0]<target 那么所有数都小于target，return false即可。如果出现upper越界，也就是down指向最后一行，只能说明matrix[m][0]>target,并不能说明最后一行所有数都大于target。第二次二分查找，如果没找到，循环结束后return false，否则找到时return true。第一次闭区间查找，最后upper=down+1,在down这一行查找即可。时间复杂度O(log(mn))
SingLoRA：单矩阵架构减半参数量，让大模型微调更稳定高效
deephub
07-16 734
SingLoRA作为一种创新的低秩适应方法，通过摒弃传统的双矩阵架构，采用单矩阵对称更新策略，在简化模型结构的同时显著提升了训练稳定性和参数效率。
AI产品经理面试宝典第18天：AI思维矩阵构建与实战应用面试题与答法
打造全国最全的AI Agent开发知识领域的博客
07-15 84
本文深度解析AI产品经理必备的思维矩阵构建方法，涵盖软硬结合、数据驱动、生态工程等核心维度，通过真实面试场景还原技术追问与业务落地策略，助你掌握从认知升级到验证迭代的完整方法论，直击AI产品创新痛点。
短视频矩阵系统：选择与开发的全方位指南
迅狐源码工厂
07-18 643
提升曝光率短视频矩阵软件源头开发商
【LeetCode240.搜索二维矩阵Ⅱ】以及变式
qq_52114254的博客
07-14 383
【代码】【LeetCode240.搜索二维矩阵Ⅱ】以及变式。
海森矩阵（Hessian Matrix）在SLAM图优化和点云配准中的应用介绍
qq_36812406的博客
07-18 931
以经典的图优化中EdgeSE2为例，创建顶点和边。// 设置线性求解器// 添加两个顶点// 添加边（测量为 v1 到 v2 的位姿）// 初始化完毕，计算 Hessian// 手动计算一次误差、雅可比和 Hessian// J1, J2// 获取雅可比矩阵// 信息矩阵// 手动构造 H 和 breturn 0;内容作用Hessian 矩阵HHH描述误差函数的局部二阶结构如何构建H∑iJi⊤J。
Instagram千号矩阵：亚矩阵云手机破解设备指纹检测的终极方案
最新发布
2401_89598053的博客
07-18 423
亚矩阵云手机通过动态设备指纹重置、智能行为仿真与独立IP池管理，为Instagram千号矩阵提供了安全、高效、低成本的运营方案。其核心价值在于：以虚拟化技术重构“可信数字身份”，让每个账号成为可精准触达用户的“流量神经元”，驱动广告营销从流量收割迈向生态共建。未来，随着技术的持续迭代，千号矩阵将迎来更智能、更安全的增长新范式。
bp神经网络 python实例
03-15
### BP神经网络的Python实现 反向传播（Backpropagation，简称BP）算法是一种用于训练多层感知器的经典方法。以下是基于两层和深层神经网络模型的一个简单实现示例。 #### 1. 数据准备与初始化 为了构建一个简单的BP神经网络，我们需要定义权重矩阵、偏置项以及激活函数。这里采用ReLU作为隐藏层的激活函数，Sigmoid作为输出层的激活函数[^2]： ```python import numpy as np def initialize_parameters(layer_dims): """ 初始化参数。 参数: layer_dims -- 列表形式表示每一层节点数 返回: parameters -- 字典形式存储W和b """ np.random.seed(1) parameters = {} L = len(layer_dims) for l in range(1, L): parameters['W' + str(l)] = np.random.randn(layer_dims[l], layer_dims[l-1]) * 0.01 parameters['b' + str(l)] = np.zeros((layer_dims[l], 1)) return parameters ``` #### 2. 前向传播计算 前向传播过程中会依次计算每层的线性和非线性部分，并保存中间结果以便后续梯度计算。 ```python def forward_propagation(X, parameters): """ 实现前向传播过程。 参数: X -- 输入数据集 parameters -- 权重和偏差字典 返回: AL -- 输出层的结果 caches -- 缓存列表，包含Z和A的信息 """ caches = [] A = X L = len(parameters) // 2 for l in range(1, L): W = parameters["W" + str(l)] b = parameters["b" + str(l)] Z = np.dot(W, A) + b A = relu(Z) cache = ((A, W, b), Z) caches.append(cache) WL = parameters["W" + str(L)] bL = parameters["b" + str(L)] ZL = np.dot(WL, A) + bL AL = sigmoid(ZL) caches.append(((AL, WL, bL), ZL)) return AL, caches ``` #### 3. 计算成本函数 使用交叉熵损失来衡量预测值与真实标签之间的差异。 ```python def compute_cost(AL, Y, lambd=0, parameters=None): """ 计算代价函数。 参数: AL -- 预测概率向量 Y -- 真实标签向量 lambd -- 正则化超参，默认为0 parameters -- 如果启用正则化，则需传入此参数 返回: cost -- 成本值 """ m = Y.shape[1] logprobs = np.multiply(-np.log(AL),Y) + np.multiply(-np.log(1 - AL), 1 - Y) cross_entropy_cost = 1./m * np.sum(logprobs) if lambd != 0 and parameters is not None: L = len(parameters) // 2 regularization_term = 0 for l in range(1, L+1): regularization_term += np.sum(np.square(parameters[f"W{l}"])) L2_regularization_cost = (lambd / (2*m)) * regularization_term total_cost = cross_entropy_cost + L2_regularization_cost else: total_cost = cross_entropy_cost return total_cost ``` #### 4. 反向传播更新参数 利用链式法则逐层求导并调整权值与偏移量。 ```python def backward_propagation_with_regularization(AL, Y, caches, lambd=0): """ 执行带正则化的反向传播操作。 参数: AL -- 最终输出层的数据 Y -- 对应的真实标签 caches -- 存储着各层间关系的缓存结构体 lambd -- 控制强度大小的系数 返回: grads -- 含有所有梯度信息的字典型变量集合 """ grads = {} L = len(caches) m = AL.shape[1] Y = Y.reshape(AL.shape) dAL = -(np.divide(Y, AL) - np.divide(1-Y, 1-AL)) current_cache = caches[-1] grads["dA"+str(L)], grads["dW"+str(L)], grads["db"+str(L)] = linear_activation_backward(dAL, current_cache, activation="sigmoid", lambd=lambd) for l in reversed(range(L-1)): current_cache = caches[l] da_prev_temp, dw_temp, db_temp = linear_activation_backward(grads["dA" + str(l+2)], current_cache, activation='relu', lambd=lambd) grads["dA" + str(l+1)] = da_prev_temp grads["dW" + str(l+1)] = dw_temp grads["db" + str(l+1)] = db_temp return grads ``` #### 5. 更新规则应用 最后一步就是按照学习率逐步修正各个连接上的数值直至收敛为止。 ```python def update_parameters(parameters, grads, learning_rate): """ 使用梯度下降法更新参数。 参数: parameters -- 当前迭代轮次下的全部待优化对象 grads -- 上一轮得到的所有方向变化指示符 learning_rate -- 调控步伐长度的关键因子 返回: updated_params -- 经过本轮修改后的最新版配置方案 """ L = len(parameters)//2 for l in range(L): parameters["W" + str(l+1)] -= learning_rate * grads["dW" + str(l+1)] parameters["b" + str(l+1)] -= learning_rate * grads["db" + str(l+1)] return parameters ``` 以上即是一个完整的BP神经网络框架搭建流程概述[^1]^。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值