深度学习Note.3(机器学习.理论）

1.定义

机器学习(MachineLearning，ML)是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。

≈自动构建一个映射函数

2.类型：

①监督学习：①回归问题（y∈R）②分类问题（y∈离散）

②无监督学习：①聚类②降维③密度估计

③强化学习：eg.交互

3.机器学习的五要素

数据--->模型--->学习准则--->优化算法--->评价指标

模型：

有线性模型也有非线性的等等，一个表达式。

学习准则：

       1. 一个好的模型应该在所有取值上都与真实映射函数一致

                经验风险最小化

                机器学习问题转化成为一个最优化问题

        2.  随机梯度下降法： 

在每次迭代时只采集一个样本。

优点：计算开销小，支持在线学习。

缺点：无法充分利用计算机的并行计算能力。

3.那么    机器学习------>?优化 

答案肯定不完全是。

在模型构建时可能会出现两种情况：

欠拟合：对于已知数据不符合

过拟合：已知数据差异少，未知数据差异可能很大

4.泛化误差

期望风险 - 经验风险

既希望期望风险降低，也希望泛化风险降低。

5.如何降低泛化误差？

引入正则化：降低模型复杂度

优化虽然可以使经验风险最小，但是期望风险≠经验风险，所以我们有时候不用选取那么复杂的模型。即正则化。

6.除了正则化，提前停止也可以降低泛化误差

也就是说在模型即将出现过拟合的时候，通过验证集检验提前停止。

4.线性回归

毅线性回归为一个例子，来进行机器学习