autograd库测试笔记-（一个基于Numpy的自动求导库）

导入 autograd 库，同时导入这个库里的numpy（应该是作者自己把numpy放入了这个库的命名空间里面）以及逐项求导elementwise_grad。

from autograd import grad
import autograd.numpy as np
from autograd import elementwise_grad

接下来定义第一个函数，这个函数非常简单，其实就是一个线性变换：

$${\mathbf{y}}_{n\times l}={\mathbf{X}}_{n\times d}{\mathbf{w}}_{d\times l}$$

这个变换也常用于神经网络的输入层。

def lin_func(x,w):
  return np.dot(x,w)

x = np.array([[1,2,3],[4,5,6]])
w = np.array([1,1,1]).astype(float)

print(lin_func(x,w))

[ 6. 15.]

这里也要注意一个问题：autograd并不能支持numpy的所有操作。比如上面的线性变换其实也可以用 x.dot(w) 来实现，但这种方式下就不能再用autograd自动求导了。因此在使用时也要注意看看文档。

接下来写出这个函数的导数 $\partial \mathbf{X}$