机器学习学习笔记 --- 回归

分类算法的目标变量是标称型数据

回归的目的是预测数值型数据的目标值

 

回归场景：

回归的目的是预测数值型的目标值。

最直接的办法是依据输入写出一个目标值的计算公式。

• 回归系数

• 回归方程

• 回归原理：

• 线性回归

• 矩阵求逆（前提是逆矩阵存在，判断是否矩阵可逆，判断矩阵的行列式是否为0，若为0矩阵就不存在逆矩阵，不为0的话，矩阵才存在逆矩阵）

• 最小二乘法（又叫最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。

 

线性回归 工作原理

— 度入数据，将数据特征X，特征标签y存储在矩阵x, y中。

验证 x^Tx矩阵是否可逆

使用最小二乘法求得回归系数w的最佳设计

 

线性回归 开发流程

— 收集数据

— 准备数据

— 分析数据

— 训练算法

— 测试算法

— 使用算法

 

线性回归的算法特征

优点：结果易于理解，计算上不复杂

缺点：对非线性的数据拟合不好

适用于数据类型：数值型和标称型数据