lecture1 机器学习/深度学习基本概念

一、机器学习是什么

让机器具备找一个函式的能力
可以应用到以下等领域

• 声音辨识
• 影像辨识
• 下围棋

二、 机器学习的种类

即函式不同的类别

1. regression(回归)：该函数输出一个标量值。
2. classification(分类)：给定选项（类），该函数输出正确的选项。eg:甄别垃圾邮件
   
3. structured Learning (结构化学习)：让机器学会创造（写一篇文章）

三、机器学习的步骤

training(训练)步骤

1. 带有未知数的函数
2. 定义训练数据的损失函数
3. 最优选择

先设置(猜测)一个能完成任务且带有未知参数的 Linear Modle

$y=b+w{x}_1$

• 参数(parameter)：b,w
• 特征(feature):x1

算出平均误差Loss

找最优，找一组未知向量，使得Loss最低


误差曲面

确定了参数后，可以进行预测

还是存在不小的Loss，能不能做的更好呢
以上基于Linear model, 过于简单，有限制(Model bias)

四、新的模型

激活函数-sigmoid 函数
注：$sigmiod$数量不一定，可以自己设定，越多得到的式子越复杂

为了减少误差，写一个更有弹性、有未知参数的function

画出来

其实用线性代数就是

蓝色框要做的事，通过$sigmoidfunction$, 从$x_i$ 得到 $a_i$

总览


重新定义一下参数，将未知的参数都称为 $\theta$

即改变了机器学习的第一步，重新定了一个有未知参数的function

接着第二步
)
第三步，每次更新一个向量组
)

批处理
batch就是，将训练集划分为一个给更小的单元，mini-batch梯度下降
所有batch使用完 = 所有样本遍历过1次 = 1个epoch)

机器学习中最常见的两种激活函数：$Sigmoid$ 和 $ReLU$
将 $Sigmoid$ 转换为$ReLU$（修正线性单元）：
两个 $ReLU$ 可以组成一个 $HardSigmoid$


重复

六、深度学习

Neuron（神经元）: Model中的 $Sigmoid$ 或$ReLU$ ; 多个神经元连起来就是Neural Network（神经网络）
hidden layer（隐藏层）: 每一层的神经元; 多个 hidden layer 构成deep
深度学习的层数太多会导致Overfitting（过拟合）：在训练资料和没看过的资料上Loss不一致