6、矩阵分析与主成分分析神经网络算法详解

矩阵分析与主成分分析神经网络算法详解

1. 矩阵分析基础

1.1 矩阵运算的导数性质

• 矩阵加法求导 ：若 (A(t)) 和 (B(t)) 均为 (m×n) 矩阵，则 (\frac{d}{dt}[A(t)+B(t)]=\frac{dA(t)}{dt}+\frac{dB(t)}{dt})。
• 可逆矩阵求导 ：若 (A(t)) 是秩为 (n) 的可逆方阵，则 (\frac{dA^{-1}(t)}{dt}=-A^{-1}(t)\frac{dA(t)}{dt}A^{-1}(t))。

1.2 实函数关于实向量的梯度

梯度算子 (\nabla_x) 对于 (n×1) 向量 (x) 定义为 (\nabla_x = [\frac{\partial}{\partial x_1},\frac{\partial}{\partial x_2},\cdots,\frac{\partial}{\partial x_n}]^T=\frac{\partial}{\partial x})。
- 实标量函数的梯度 ：实标量函数 (f(x)) 关于 (x) 的梯度是一个 (n×1) 列向量，(\nabla_xf(x)=[\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},\cdots,\frac{\partial f(x)}{\partial x_n}]^T=\frac{\partial f(x)}{\partial x})。