Lasso回归、岭回归和弹性网络回归

在逻辑回归正则化一文中，我们详细解释了正则化的原理及作用：当有很多个特征X时，有些特征往往不重要，所以需要降低其的权重。而正则化则是为每个特征修改权重从而提升训练效果。

正则化在线性回归中也是相同的原理，我们还记得正则化分成了两种：L1正则化和L2正则化，两者的区别就是L1将某些特征的权重设为了0，而L2中则以一个极小的权重保留了特征。

在线性回归中，添加正则化有具体的回归名称分别是：Lasso回归(L1)、岭回归(L2)和弹性网络回归(L1和L2中和)。

Lasso回归（L1正则化）

Lasso回归，即最小绝对收缩和选择算子，是另一种使用收缩的线性回归方法。Lasso过程鼓励简单、稀疏的模型（即，参数更少的模型）。

通过引入一个惩罚项到OLS方程，该惩罚项限制了系数绝对值的和：
Lasso回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p ∣ β j ∣ } \text{Lasso回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}|\beta_j| \} Lasso回归:βmin​{i=1∑n​(yi​−j=1∑p​xij​βj​)2+λj=1∑p​∣βj​∣}
Lasso惩罚的效果是在调节参数$\lambda$足够大时，强制某些系数估计值精确地为零。这意味着Lasso也可以进行变量选择，并能产生更易于解释的模型。

岭回归（L2正则化）

岭回归也被称为Tikhonov正则化，它是用于分析存在多重共线性的多元回归数据的技术。当存在多重共线性时，最小二乘估计是无偏的，但它们的方差很大，因此可能会远离真实值。通过对回归估计添加一定程度的偏差，岭回归可以减小标准误差。

岭回归的关键在于向普通最小二乘（OLS）方程添加一个惩罚项：
岭回归 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ ∑ j = 1 p β j 2 } \text{岭回归} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda\sum_{j=1}^{p}\beta_j^2 \} 岭回归:βmin​{i=1∑n​(yi​−j=1∑p​xij​βj​)2+λj=1∑p​βj2​}

这里，$\lambda$是调节参数，决定了我们希望对模型的灵活性进行多大程度的惩罚。当$\lambda$的值越大时，缩减作用越强，因此系数对共线性的鲁棒性就越强。

弹性网络回归

弹性网络是岭回归和Lasso回归的折中。它在多个特征彼此相关时特别有用。

弹性网络旨在保持L2和L1惩罚项的正则化属性：
弹性网络 : min ⁡ β { ∑ i = 1 n ( y i − ∑ j = 1 p x i j β j ) 2 + λ 1 ∑ j = 1 p β j 2 + λ 2 ∑ j = 1 p ∣ β j ∣ } \text{弹性网络} : \min_{\beta} \{ \sum_{i=1}^{n}(y_i - \sum_{j=1}^{p}x_{ij}\beta_j)^2 + \lambda_1\sum_{j=1}^{p}\beta_j^2 + \lambda_2\sum_{j=1}^{p}|\beta_j| \} 弹性网络:βmin​{i=1∑n​(yi​−j=1∑p​xij​βj​)2+λ1​j=1∑p​βj2​+λ2​j=1∑p​∣βj​∣}
该模型建立在L1和L2惩罚项之间的平衡之上，由${\lambda }_1$和${\lambda }_2$调节。这种平衡允许学习一个像Lasso那样的稀疏模型，同时还保持了岭回归的正则化属性。

这里整理一下三个回归的代码，数据使用天池工业蒸汽量预测，得分仅针对本数据参考，不代表算法优劣：

Lasso回归score:1.0877

from sklearn.linear_model import Lasso
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建Lasso回归模型实例
lasso_model = Lasso(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
lasso_model.fit(X_train, y_train)

# 预测新数据
predictions = lasso_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)

Ridge回归（岭回归）score:2.8139

from sklearn.linear_model import Ridge
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建岭回归模型实例
ridge_model = Ridge(alpha=1.0)  # alpha 参数就是λ

# 拟合模型
ridge_model.fit(X_train, y_train)

# 预测新数据
predictions = ridge_model.predict(test_data)

# Save the predictions to a text file
output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)

弹性网络回归score:0.5922

from sklearn.linear_model import ElasticNet
import numpy as np

# Load the datasets
train_data = pd.read_csv('zhengqi_train.txt', sep='\t')
test_data = pd.read_csv('zhengqi_test.txt', sep='\t')

# Split the training data into features and target
X_train = train_data.drop(columns=['target'])
y_train = train_data['target']

# 创建弹性网络回归模型实例
elastic_model = ElasticNet(alpha=1.0, l1_ratio=0.5)  # alpha 参数是λ，l1_ratio 是 L1 正则化比例

# 拟合模型
elastic_model.fit(X_train, y_train)

# 预测新数据
predictions = elastic_model.predict(test_data)

output_path = 'zhengqi_gb_predictions.txt'
pd.DataFrame(predictions).to_csv(output_path, index=False, header=False)