村头陶员外的博客

方向导数：如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：其中，ψ为x轴到方向L的转角。那么在点p(x,y)处沿着什么方向变化最快呢？再以上面公式为例，可以将上面公式写成这样的形式： 上面公式右侧第一项我们可以看成是，第二项是直线L的方向，其中ψ为x轴到方向L的转角，那么这个ψ取多大是，这个变化率最大呢？我们知道当向量a和向量b之间夹角为

本篇博文将主要总结机器学习里面的线性代数知识。分以下几个主题，但是不做详细的证明，只做总结。矩阵 SVD 状态转移矩阵特征值和特征向量 对称阵 正交阵 正定阵矩阵求导 向量对向量求导 标量对向量求导 标量对矩阵求导矩阵SVD（奇异值分解）奇异值分解（Singular Value Decomposition）是一种重要的矩阵分解方法。假设矩阵A是一个m*n阶实矩阵，则存在一个分

在机器学习中，我们常常需要处理各式各样的数据，其中向量形式，矩阵形式的数据是经常遇见的。同时又经常需要对两个或者多个向量形式，矩阵形式的数据做元素级的操作处理。通常最简单无脑的办法就是用循环对数据一个个的进行处理。显然这种处理方式不仅费时费力而且写出来的代码给人感觉很繁琐。既然数据呈向量或者矩阵形式，为什么我们不把这种形式很好的加以利用呢？要知道矢量化的运算要比等价的纯python快上一两个数量级甚