线性回归

举个栗子

• 数据：工资和年龄（2个特征）
• 目标：预测银行会贷款给我多少钱（标签）
• 考虑：工资和年龄都会影响最终银行贷款的结果，那么他们各自有多大的影响？（参数）

 

　　　　

通俗解释

• X1，X2就是我们的两个特征（年龄，工资），Y是银行最终会借给我们的钱
• 找到一条最合适的线（想象一个高维）来最好的拟合我们的数据点

 　　　　

　　假设Θ₁是年龄的参数，Θ₂是工资的参数

　　拟合的平面：h₀(x)=Θ₀+Θ₁x₁+Θ₂x₂（Θ₀是偏置项）

　　整合：h₀(x)=Σ_i=0ⁿΘ_ix_i=Θ^Tx

误差

　　真实值和预测值之间存在的差异（ε来表示该误差）

　　对于每个样本：y⁽ⁱ⁾=Θ^Tx⁽ⁱ⁾+ε⁽ⁱ⁾                       （1）

　　误差ε⁽ⁱ⁾是独立并且具有相同的分部，并且服从均值为0方差为Θ²的高斯分布

　　在上例中，各个概念的含义：

　　独立：张三和李四一起来贷款，他俩没关系

　　同分布：他俩都来的是我们假定的这家银行

　　高斯分布：银行可能会多给，也可能会少给，但是绝大多数情况下这个浮动不会太大，极小情　　况浮动会比较大，符合正常情况。

　　由于误差服从高斯分布：

　　　　　　　　                （2）

 

　　将（1）带入（2）式：

　　　　　　　　

　　似然函数：

　　　　　　　　

　　　　解释：什么样的参数跟我们的数据组合后恰好是真实值

　　对数似然：　

　　　　　　　　

　　　　乘法难解，取对数转换为加法

　　展开化简：

　　　　　　　　

　　目标：让似然函数（对数变换后也一样）越大越好
　　　　　　　　（最小二乘法）

　　目标函数：

　　　　　　　　

　　求偏导：

　　　　　　

　　偏导等于0：

　　　　　　　

评估方法

　　最常用的评估项

　　　　　　　　

　　R²的取值越接近于1我们认为模型拟合的越好

 

 

 

　　

 

　　

 

转载于:https://www.cnblogs.com/hellojack/p/7755933.html