Datawhale X 李宏毅苹果书 AI夏令营：机器学习基础笔记（二）

简言：由线性函数到分段线性函数的不断逼近，减少模型偏差

关键新概念：

分段线性曲线（ piecewise linear curve ）

批量（batch）：                一组数据的加权

批量大小（batch size）： 全部数据的每组的分批量

回合（epoch）：               将全部批量执行，即全部数据样本用来更新参数

修正线性单元（Rectified Linear Unit，ReLU）：而有拐点的线性

激活函数（activation function）：Sigmoid或者ReLU等

过拟合（overfitting）：训练数据和测试数据的结果不一致

机器学习和深度学习的区别：

Sigmoid 或 ReLU 称为神经元（ neuron ），很多的神经元称为 神经网络 （ neural network ）。人每一排称为一层，称为 隐藏层（ hidden layer ） ，很多的隐藏层就“深”，这套技术称为深度学习

 

分析：

线性函数不足：过于简单，变化固定，因此预测不准且死板

分段线性函数：本质上是通过激活函数合成Hard Sigmoid并且和常数的结合来拟合真实数据曲线

例如：4个蓝线结合在一起，来逼近成红色线

整个机器学习的框架：

1. 写一个带有未知数 θ 的函数
2. 定义损失，来判断参数的好坏
3. 不断优化，用梯度下降等方法来减少损失值