【机器学习算法基础】（基础机器学习课程）-09-线性回归-笔记

一、线性回归的定义以及矩阵的运算

减少过拟合的含义

        过拟合是机器学习中的一种常见问题，它指的是模型在训练数据上表现得非常好，但在测试数据或新数据上表现较差。这是因为模型学习到了训练数据中的噪声或偶然性模式，而不是数据的普遍规律。减少过拟合的目的是让模型不仅能很好地拟合训练数据，还能在未见过的数据上表现良好。

 

 

 

 

 

 

 

 

 

 

 

Python 实现

我们可以使用 Python 的 numpy 库来实现上述矩阵运算：

import numpy as np

# 数据
X = np.array([[1, 1, 2], [1, 2, 0], [1, 3, 4]])
y = np.array([3, 2, 5])

# 计算 beta
X_transpose = X.T
beta = np.linalg.inv(X_transpose @ X) @ X_transpose @ y

print("Coefficients:", beta)

运行上述代码可以得到模型的系数，即截距和各个特征的权重。

总结

线性回归通过建立因变量和自变量之间的线性关系来进行预测，其模型可以通过矩阵运算来简化和求解。通过理解矩阵形式的线性回归，我们可以更高效地处理多元线性回归问题，并利用编程工具实现这些计算。

二、线性回归策略，优化案例