元素向量矩阵求导公式（学到家）

最新推荐文章于 2024-11-30 02:45:00 发布

原创

最新推荐文章于 2024-11-30 02:45:00 发布 · 1.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#矩阵 #线性代数 #机器学习 #向量求导 #矩阵求导详解

本文详细介绍了元素、向量及矩阵之间的各种求导法则，包括行向量、列向量以及矩阵对元素、向量和矩阵自身的求导规则，并通过两个具体案例进行了解析。

文章目录

元素向量矩阵求导法则【如果你在学习过程，遇到问题，可以请我做私教！老司机带你飞！】

公式都是，我一行行，通过markdown敲出来的，经过验证的，正确无误的~

1、行向量对元素求导

设 $y^T = [y_1\ \cdots\ y_n]$ 是 n 维行向量， $x$ 是元素，则 $\frac{\partial y^T}{\partial x} = [\frac{\partial y_1}{\partial x} \ \cdots\ \frac{\partial y_n}{\partial x}]$

2、列向量对元素求导

设 $\left[ \begin{matrix}y_1\\\vdots\\y_n\end{matrix}\right]$ 是 m 维列向量， $x$ 是元素，则：

$\frac{\partial y}{\partial x} = \left[\begin{matrix}\frac{\partial y_1}{\partial x}\\\vdots\\\frac{\partial y_n}{\partial x}\end{matrix}\right]$

3、矩阵对元素求导

设 $\left[\begin{matrix}&y_{11}\ \ &\cdots \ \ &y_{1n}\\&\vdots\ \ &\vdots \ \ &\vdots\\&y_{m1}\ \ &\cdots \ \ &y_{mn}\end{matrix}\right]$

是 $\times n$ 矩阵， $x$ 是元素，则

$\frac{\partial Y}{\partial x } = \left[\begin{matrix}&\frac{\partial y_{11}}{\partial x}\ \ &\cdots \ \ &\frac{\partial y_{1n}}{\partial x}\\&\vdots\ \ &\vdots\ \ &\vdots\\&\frac{\partial y_{m1}}{\partial x}\ \ &\cdots\ \ &\frac{\partial y_{mn}}{\partial x}\end{matrix}\right]$

4、元素对行向量求导

设 $y$ 是元素， $x^T = [x_1\ \ \cdots\ \ x_{n}]$ 是 n 维行向量，则

$\frac{\partial y}{\partial x^T} = [\frac{\partial y}{\partial x_1}\ \ \cdots\ \ \frac{\partial y}{\partial x_n}]$

5、元素对列向量求导

设 $y$ 是元素， $\left[ \begin{matrix}x_1\\\vdots\\x_n\end{matrix}\right]$ 是 n 维列向量，则

$\frac{\partial y}{\partial x} = \left[\begin{matrix}\frac{\partial y}{\partial x_1}\\\vdots\\\frac{\partial y}{\partial x_n}\end{matrix}\right]$

6、元素对矩阵求导

设 $\left[\begin{matrix}&x_{11}\ \ &\cdots \ \ &x_{1n}\\&\vdots\ \ &\vdots \ \ &\vdots\\&x_{m1}\ \ &\cdots \ \ &x_{mn}\end{matrix}\right]$

是 $\times n$ 矩阵， $y$ 是元素，则

$\frac{\partial y}{\partial X} = \left[\begin{matrix}&\frac{\partial y}{\partial x_{11}}\ \ &\cdots\ \ &\frac{\partial y}{\partial x_{1n}}\\&\vdots\ \ &\vdots\ \ &\vdots\\&\frac{\partial y}{\partial x_{m1}}\ \ &\cdots\ \ &\frac{\partial y}{\partial x_{mn}}\end{matrix}\right]$