动手学机器学习-李沐（4）

1、线性回归

 2、线性模型

输入：给定n维输入，乘以n维权重和一个标量偏差

输出：加权和

 3、开始神经网络

 4、补充：平方损失：

 5、总结：

显示解：显示解就是可以用数学方法算出来的表达式解 

 6、对没有显示解的时候就要运用梯度下降的算法

        不断更新W0使其更对的接近最优解

        右上为二次函数等高图（每个圈是函数值等于固定值的曲线）

        补：一个数的正梯度是其上升最快的方向，反之负梯度是其下降最快的方向

 7、学习率的选择（不能太小也不能太大）

 8、一般不会直接使用梯度下降，深度学习中最常用的是：小批量随机梯度下降

        求一次梯度相当于将整个函数再重新算一遍（太贵了，计算代价太大了）

 9、选择批量大小也不能太大或者太小

10、总结