吴恩达机器学习课程笔记——第一周

机器学习是什么？

定义一：机器学习是无需显式编程就能使得计算机自主学习的学科。
定义二：如果计算机随着经验E的积累，在任务T上用标准P衡量的表现越来越好，那么可以说计算机正在学习。

应用实例

1. 数据挖掘
2. 不能够用手写代码实现的应用，比如无人驾驶。

分类

主要分类：

1. 监督学习
2. 无监督学习

其他：
3. 强化学习
4. 推荐系统

监督学习

意即给出一个算法，需要部分数据集已经有正确答案，换句话说数据集中的数据需要有对应的结果（训练集）。

回归

回归问题，对于连续值进行预测。比如房价预测问题。

分类

分类问题，预测离散值输出，可以有两种以上的类。比如根据肿瘤大小预测是否为良性肿瘤。

无监督学习

无监督学习中所有样本都是一样的，没有标签和分类，我们提前并不知道数据可以分成哪些类型。

聚类

例子：
谷歌新闻，将相同类型的新闻分成同一组。

回归

根据以前的数据预测出准确的输出值。

符号表示

m	样本数目
x	输入值，即feature
y	输出值，即目标变量
$(x^{(i)},y^{(i)})$	第i个样本数据

工作原理

特征值经过hypothesis函数的映射得到目标变量，因此我们的目标就是找到一个hypothesis函数。

单变量线性回归

定义h函数:$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

模型参数

${\theta }_0$，${\theta }_1$

代价函数

我们的目标是选择最优的模型参数使得预测结果最接近真实的y值。
数学化上述目标，可以得到以下目标函数：
$mi{n}_{{\theta }_0,{\theta }_1}\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$

所以得到代价函数：
$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
此代价函数又被称为平方误差函数，在线性回归问题中常常用。
这里的$\frac{1}{2m}$是为了数学上求导比较简单。
我们需要算法来自动查找使得代价函数最小的参数。

梯度下降

梯度下降方法用于最小化代价函数。

思想

1. 初始化$({\theta }_0,{\theta }_1)$
2. 一点点调节$\theta$的值，知道找到$J$（损失函数）的最小值。

这里调节的方式，有点类似于贪心算法，在这一点上选择下降最快的方向。
但是有一个非常大的问题，就是从不同的点出发很容易得到不同的解，被局部最优解给困住。