机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法

　在机器学习中的矩阵向量求导(一) 求导定义与求导布局中，我们讨论了向量矩阵求导的9种定义与求导布局的概念。今天我们就讨论下其中的标量对向量求导，标量对矩阵求导, 以及向量对向量求导这三种场景的基本求解思路。

　　　　对于本文中的标量对向量或矩阵求导这两种情况，如前文所说，以分母布局为默认布局。向量对向量求导，以分子布局为默认布局。如遇到其他文章中的求导结果和本文不同，请先确认使用的求导布局是否一样。另外，由于机器学习中向量或矩阵对标量求导的场景很少见，本系列不会单独讨论这两种求导过程。

1. 用定义法求解标量对向量求导

　　　　标量对向量求导，严格来说是实值函数对向量的求导。即定义实值函数f:Rn→Rf:Rn→R,自变量xx是n维向量，而输出yy是标量。对于一个给定的实值函数，如何求解∂y∂x∂y∂x呢？

　　　　首先我们想到的是基于矩阵求导的定义来做，由于所谓标量对向量的求导，其实就是标量对向量里的每个分量分别求导，最后把求导的结果排列在一起，按一个向量表示而已。那么我们可以将实值函数对向量的每一个分量来求导，最后找到规律，得到求导的结果向量。

　　　　首先我们来看一个简单的例子：y=aTxy=aTx,求解∂aTx∂x∂aTx∂x

　　　　根据定义，我们先对xx的第i个分量进行求导，这是一个标量对标量的求导，如下：

 

∂aTx∂xi=∂∑j=1najx