TigerTai98的博客

在计算函数二阶导的时候，我们通常需要计算Hessian 矩阵，此时会遇到向量外积求和的问题∑i=1nuivi,ui∈Rn×1,vi∈R1×n\sum_{i=1}^n u_i v_i, u_i \in \mathbb{R}^{n\times 1}, v_i \in \mathbb{R}^{1\times n}i=1∑n​ui​vi​,ui​∈Rn×1,vi​∈R1×n如果我们一个一个地计算 uiviTu_i v_i^Tui​viT​ 并将它们用for循环加起来，那么我们需要计算 nnn 个矩阵相乘，是

一个行列式求导公式d∣A∣dt=∣A∣tr(A−1∗dAdt), A∈Rn×n\frac{d|A|}{dt} = |A|tr(A^{-1}*\frac{dA}{dt}),\ A\in R^{n \times n}dtd∣A∣​=∣A∣tr(A−1∗dtdA​), A∈Rn×n证明如下首先我们有∣A(aij+ϵ)∣−∣A(aij)∣=ϵAijd∣A∣daij=Aij...