[学习笔记]机器学习——算法及模型（一）：线性回归

传统算法（一）：

线性回归

一、什么是线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。

举一个栗子数据：
工资和年龄（2个特征）
目标：预测银行会贷款给我多少钱（标签）
线性回归考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数）

工资	年龄	额度
4000	25	12000
8000	28	15000
12000	35	20000
15000	40	25000

所以，通俗的解释就是：

x1,x2对应的就是工资和年龄两个变量，而y就是最终银行会批的额度；线性回归就是建立关于X与Y的一个方程式；

---

二、建立目标函数

接下来根据上面的例子，我们来建立目标函数

假设${\theta }_1$是年龄参数，${\theta }_2$是工资参数

拟合的平面则为：

$$h_{\theta }(X)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$$$$其中{\theta }_0是偏置项$$

整合，可得如下：
$$h_{\theta }(X)=\sum _{i=0}^n{\theta }_i{X}_i={\theta }^{T}X$$
当然真实值和预测值之间肯定是要存在差异的，这个称作“误差”

误差项：

公式中我们$\epsilon$用来表示该误差值，那可以进一步得到目标函数为：
$$y^{(i)}={\theta }^T{X}^{(i)}+{\epsilon }^{(i)}$$
这里每一个$i$都会对应有$\epsilon$，并且假设${\epsilon }^{(i)}$均值为0，方差为${\theta }^2$，且服从高斯分布，也就是正态分布。

那么我们可以知道$\epsilon$概率为：
$$P({\epsilon }^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }{e}^{(-\frac{({\epsilon }^{(i)}{)}^2}{2{\sigma }^2})}$$

将目标函数转换为：$\epsilon =y^{(i)}-{\theta }^T{X}^{(i)}$并带入以上公式，可得：

$$P(y^{(i)}|x^{(i)};\theta )=\sqrt{2\pi }$$