机器学习笔记（1）-线性回归，梯度下降，logistic回归

今天开始学习 机器学习，将我每次学到的内容做一个笔记，方便以后复习。

一、线性回归

(一)

         什么是线性回归呢，我的理解是已经知道一些数据，根据已知的数据拟合出一条直线（二维空间中）或一个平面（三维空间中）以此类推。用拟合出来的“直线”来预测未知的数据。举一个例子，比如有某家银行给不同人贷款的额度的数据，假设是根据这个人的工资以及年龄判断贷多少钱给这个人。根据这些数据拟合出一个公式，后面只要输入一个人的工资和年龄就可以预测出银行会贷给他多少钱。其中工资和年龄称为特征，贷款额度称为标签。

从这个表可以看到工资和额度两个特征从数值上差距比较大，那么到底每个特征对标签的影像有多大呢，这就需要通过算法来确定每一个特征所占的权重。（参数）

 我们假设是年龄的参数，是工资的参数。这样拟合的平面为

其中是偏置项。偏置项的变动体现出来的是拟合平面的上下整体浮动，可以看作是对其他各个解释变量留下的偏差的线性修正。（这里留下一个问题，在什么情况下线性回归可以不考虑偏置项？望知道的大牛告诉我）

将上面的式子整合一下，令为1，则上式变为

（二）误差

误差就是真实值与预测值之间存在的差距，用表示。对于每个样本,误差是独立并且具有相同分布，并且服从标准正态分布的。

为什么呢？概率论与数理统计里的中心极限定理有解释。

吴恩达斯坦福大学的公开课中关于这个有两个回答：
1.方便数学处理

2.他不知道，比如中心极限定理带来的效应，但是对于绝大多数实际的问题，通常服从高斯分布。

用最大似然法求出使得已知数据符合这个分布的概率最大的,简单来说就是似然函数就是求所有样本值都预测正确的概率。要求出一个，使这个概率最大。