tiao_tiao_hu的博客

下山越快越好，梯度是正方向是上升，我们要反方向下降，小范围慢慢移动。

(X^TAX)求偏导=2AX；我们要看J在site的什么情况下最小，所以求偏导，记住两个公式：A^2 = A^T*A;为什么是累乘：联合概率密度 = 边缘概率密度的乘积，因为误差是独立同分布的，所以用累乘。因为我们算的是误差，误差符合高斯分布，所以值越大越好，前边为正数，所以让后边越小越好。在求参数的时候，假如1000个数相乘不好算，我们转换为加法，两边取对数即可。似然参数：什么样的参数跟我们的数据组合恰好是真实值。将似然函数进行对数运算 ---- 对然函数。

回归：在一定的区间上找出来一个确定的值。同分布：数据尽可能来自相同的一个分布。独立 + 相同分布 + 高斯分布。独立：每个样本都是不同的。本质上是线性回归方程。