4、简单线性回归与K近邻算法：原理、应用与性能评估

简单线性回归与K近邻算法：原理、应用与性能评估

1. 简单线性回归回顾

简单线性回归用于建模单个解释变量与连续响应变量之间的关系。以预测披萨价格为例，我们可以使用残差平方和成本函数来评估模型的拟合度，并通过解析求解使成本函数最小化的模型参数值。

1.1 计算R平方值

R平方值可以衡量模型对测试实例价格方差的解释比例。以下是使用Python和 scikit-learn 库计算R平方值的示例代码：

import numpy as np
from sklearn.linear_model import LinearRegression

X_train = np.array([6, 8, 10, 14, 18]).reshape(-1, 1)
y_train = [7, 9, 13, 17.5, 18]
X_test = np.array([8, 9, 11, 16, 12]).reshape(-1, 1)
y_test = [11, 8.5, 15, 18, 11]

model = LinearRegression()
model.fit(X_train, y_train)
r_squared = model.score(X_test, y_test)
print(r_squared)

运行上述代码，输出的R平方值为 0.662 ，这表明模型能够解释测试实例价格方差的很大一部分。

2. K近邻算法介绍

K近邻（KNN）是一种简单的算法，可用于分类和回归任务。