12、预测模型构建：岭回归与惩罚线性回归方法

预测模型构建：岭回归与惩罚线性回归方法

1. 岭回归：控制过拟合的有效手段

在预测模型构建中，为了控制模型复杂度并避免过拟合，我们可以对普通最小二乘法（OLS）进行修改，其中一种方法就是岭回归（Ridge Regression）。

普通最小二乘法试图找到标量 $\beta_0$ 和向量 $\beta$ 来满足特定条件（见公式 3.14），而岭回归则是在普通最小二乘法的基础上，通过添加 $\lambda\beta^T\beta$ 项来约束系数的大小。这里的 $\lambda$ 是一个复杂度参数，当 $\lambda = 0$ 时，岭回归问题就变成了普通最小二乘回归；当 $\lambda$ 变得很大时，系数向量 $\beta$ 趋近于零，此时只有常数项 $\beta_0$ 可用于预测标签 $y_i$。

以下是使用岭回归解决葡萄酒口味回归问题的 Python 代码示例：

__author__ = 'mike_bowles'

from Read_Fcns import list_read_wine
import numpy as np
from sklearn import datasets, linear_model
from math import sqrt
import matplotlib.pyplot as plt

# 读取数据到列表
names, xList, labels = list_read_wine()

# 将属性和标签划分为训练集和测试集
indices = range(len(xList))
xListTest = [xList[i] for i in indices if i