【网易公开课-机器学习】笔记

第一课

机器学习的四部分：

监督学习

回归问题（给定样本训练原始模型）、分类问题（给定样本训练分类器） 

学习理论

机器学习算法的使用、证明

 无监督学习

聚类问题（像素分类进行边缘检测）

 强化学习

第二课

监督学习：梯度下降

m：表示训练样本的数目，即训练集的大小。

x：表示输入变量（特征）。

y：表示输出变量/目标变量。

(x,y)：表示一个样本。

θ：表示学习算法训练学习到的参数。

J(θ)：表示参数θ下的训练方差

在监督学习中，做法：

找到一个训练集，提供一个学习算法，生成一个输出函数h（h被称为假设），h的任务获获得输入，并输出估计的结果。

算法：

搜索算法

从一个初始的θ开始，保持改变θ，最小化J(θ)。

梯度下降算法：

一定会可结束地往梯度下降的地方走。

随机梯度下降算法：

并非每次移动批处理所有的样本，对每个样本进行一次移动，以提高运行速度。

最后介绍了一个矩阵直接求梯度最优点的算法。

第三课：

局部加权回归：线性回归的一个变种

logistic回归：课程中第一个介绍的分类算法

牛顿法：对logistic回归模型进行拟合的算法

概念：

欠拟合(underfitting)：数据中非常明显的形式没有被成功地拟合出来

过拟合(overfitting):算法仅仅拟合出数据的性质，不是隐藏在数据之下的性质。

参数学习算法：有固定参数进行数据拟合的算法。

非参数学习算法：参数的数量随着训练集合的大小线性增长。

局部加权回归/Loess 

考虑到性质的局部性，对于每个输入x，对离x越近的样本赋予更大的权值（0~1）进行线性回归。

感知器算法：输出成0或1的离散形式。