【特征选择方法】L2正则化(岭回归)

机器学习--岭回归和Lasso回归 任何数据都存在噪声和多重共线性 如何解决多重共线性 ? 1.算法角度(正则化) 2.数据角度(最有效果) 岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合(数据间高度线性相关)以及在通过正规方程方法求解θ的过程中出现的x转置乘以x不可逆这两类问题的,这两种回归均通过在损失函数中引入正则化项来达到目的,具体三者的损失函数对比见下图: 其中λ称为正则化参数,如果λ选取过大,会把所有参数θ均最小化,造成欠拟合,如果λ选取过小,会导致对过拟合问题解决不当,因此λ的选取是一个技术活。 岭回归与Lasso回 阅读详情

特征选择与防过拟合:L2正则化(岭回归)|原理+公式+Python实战全攻略

L2正则化(又称岭回归/Ridge Regression)是机器学习中控制模型过拟合、处理多重共线性的核心方法,也是特征选择的“隐形工具”。它不会直接删除特征,而是通过压缩不重要特征的系数实现“软筛选”,兼顾模型稳定性与泛化能力。


一、先搞懂:L2正则化到底解决什么问题?

1. 核心痛点:过拟合与多重共线性

  • 过拟合:模型在训练数据上表现极好,但换了新数据就“翻车”(比如把噪声当成规律)
  • 多重共线性:特征之间高度相关(如“身高”和“体重”),导致普通线性回归系数不稳定、解释性差

2. L2正则化的核心作用

  • 防止过拟合:惩罚模型的复杂系数,让参数“变小”,避免过度依赖个别特征
  • 处理多重共线性:通过正则化让相关特征的系数更均衡,避免系数波动过大
  • 软特征选择:把不重要特征的系数压缩到接近0,间接筛选出关键特征(不直接删除)

3. 形象比喻:给模型“套紧箍咒”

普通线性回归像“无拘无束的学生”,为了考好(拟合训练数据)会死记硬背所有细节;而L2正则化像给学生套了“紧箍咒”,限制它过度复杂——虽然还是会学所有知识点(保留所有特征),但不会对无关细节(无用特征)过度关注,换套题(新数据)也能考好。


二、L2正则化是什么?通俗理解

1. 本质:给损失函数加“惩罚项”

L2正则化的核心是在模型的“损失函数”后,添加一项参数平方和的惩罚项,强制参数尽量“小而温和”:

  • 重要特征:系数虽被惩罚,但仍保持较大值
  • 不重要特征:系数被压缩到接近0,对预测结果影响极小

2. 与L1正则化的核心区别

对比项L2正则化(岭回归)L1正则化(Lasso)
正则项形式系数的平方和(∑wj2\sum w_j^2∑wj2​)系数的绝对值和(∑\sum∑ |wjw_jwj​|)
特征处理系数接近0(软筛选)系数直接为0(硬删除)
共线性处理强(均衡相关特征系数)弱(随机保留一个相关特征)
模型稳定性高低

三、核心公式(必须掌握)

1. 普通线性回归目标函数(最小二乘)

J(w,b)=12m∑i=1m(y^(i)−y(i))2 J(w, b) = \frac{1}{2m} \sum_{i=1}^m \left( \hat{y}^{(i)} - y^{(i)} \right)^2 J(w,b)=2m1​i=1∑m​(y^​(i)−y(i))2

  • 仅追求“预测误差最小”,容易导致系数过大(过拟合)或不稳定(多重共线性)

2. L2正则化(岭回归)目标函数

J(w,b)=12m∑i=1m(w⊤x(i)+b−y(i))2+λ2∥w∥22 J(w, b) = \frac{1}{2m} \sum_{i=1}^m \left( w^\top x^{(i)} + b - y^{(i)} \right)^2 + \frac{\lambda}{2} \|w\|_2^2 J(w,b)=2m1​i=1∑m​(w⊤x(i)+b−y(i))2+2λ​∥w∥22​
或矩阵形式(更简洁):
J(w)=12m∥Xw−y∥22+λ2∥w∥22 J(w) = \frac{1}{2m} \|Xw - y\|_2^2 + \frac{\lambda}{2} \|w\|_2^2 J(w)=2m1​∥Xw−y∥22​+2λ​∥w∥22​

各部分含义:
  • ∥Xw−y∥22\|Xw - y\|_2^2∥Xw−y∥22​:残差平方和(拟合误差项),衡量模型对数据的拟合程度
  • λ\lambdaλ:正则化强度(惩罚系数)
    • λ\lambdaλ 越大:惩罚越重,系数越小(模型越简单)
    • λ\lambdaλ 越小:惩罚越轻,系数越接近普通回归(易过拟合)
  • ∥w∥22=∑j=1nwj2\|w\|_2^2 = \sum_{j=1}^n w_j^2∥w∥22​=∑j=1n​wj2​:L2范数(惩罚项核心),即所有特征系数的平方和
  • bbb(偏置项):通常不参与惩罚(避免模型整体偏移)

3. 解析解(岭回归解)

对目标函数求导并令导数为0,可得到闭合解(无需迭代,直接计算):
wridge=(X⊤X+mλI)−1X⊤y w_{ridge} = (X^\top X + m\lambda I)^{-1} X^\top y wridge​=(X⊤X+mλI)−1X⊤y

  • III:单位矩阵,作用是让X⊤XX^\top XX⊤X可逆(解决多重共线性导致的矩阵奇异问题)
  • 这也是岭回归比普通线性回归更稳定的核心原因

四、L2正则化的算法流程(必背)

  1. 数据准备:输入特征矩阵XXX,目标变量yyy
  2. 特征标准化(关键步骤):
    L2对特征尺度敏感(如“收入(万元)”和“年龄(岁)”),需标准化为“均值=0,方差=1”,确保惩罚公平
  3. 设置正则化系数λ\lambdaλ:
    通过交叉验证选择最优λ\lambdaλ,平衡拟合误差与模型复杂度
  4. 训练岭回归模型:
    最小化目标函数,得到稳定的系数www
  5. 软特征选择:
    保留系数绝对值较大的特征,剔除系数接近0的特征(可设定阈值,如∣wj∣<0.01|w_j| < 0.01∣wj​∣<0.01)
  6. 模型评估:用筛选后的特征重新建模,验证泛化能力

五、Python 完整实战:加州房价预测与特征选择

1. 导入库+加载数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, r2_score

# 加载数据(20640个样本,8个特征)
housing = fetch_california_housing()
X = pd.DataFrame(housing.data, columns=housing.feature_names)
y = housing.target

print("样本数:", X.shape[0])
print("特征数:", X.shape[1])
print("特征名:", list(X.columns))
X.head()

2. 探索性数据分析(EDA)

# 1. 目标变量分布
plt.figure(figsize=(8, 4))
sns.histplot(y, bins=50, kde=True, color='#3498db')
plt.title("目标变量:房价中位数分布", fontsize=12)
plt.xlabel("房价中位数(单位:10万美元)")
plt.ylabel("频数")
plt.show()

# 2. 特征相关性热力图(查看多重共线性)
df_corr = X.copy()
df_corr['Target'] = y
corr = df_corr.corr()

plt.figure(figsize=(10, 8))
sns.heatmap(corr, annot=True, fmt=".2f", cmap='RdBu_r', vmin=-1, vmax=1)
plt.title("特征相关性热力图", fontsize=14)
plt.tight_layout()
plt.show()

3. 数据预处理(拆分+标准化)

# 1. 拆分训练集/测试集(7:3)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# 2. 标准化(L2正则化必须步骤)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print("训练集标准化后形状:", X_train_scaled.shape)
print("测试集标准化后形状:", X_test_scaled.shape)

4. 初始岭回归模型(固定λ\lambdaλ)

# 设置初始正则化系数
alpha_init = 1.0
ridge_init = Ridge(alpha=alpha_init, random_state=42)
ridge_init.fit(X_train_scaled, y_train)

# 查看特征系数
coef_init = pd.Series(ridge_init.coef_, index=X.columns).sort_values()
print("=== 初始岭回归(alpha=1.0)特征系数 ===")
print(coef_init)

# 模型性能评估
y_train_pred = ridge_init.predict(X_train_scaled)
y_test_pred = ridge_init.predict(X_test_scaled)

print(f"\n训练集 MSE: {mean_squared_error(y_train, y_train_pred):.4f}")
print(f"训练集 R²: {r2_score(y_train, y_train_pred):.4f}")
print(f"测试集 MSE: {mean_squared_error(y_test, y_test_pred):.4f}")
print(f"测试集 R²: {r2_score(y_test, y_test_pred):.4f}")

# 可视化特征系数
plt.figure(figsize=(10, 6))
coef_init.plot(kind='barh', color='teal')
plt.axvline(0, color='black', linewidth=1)
plt.title("初始模型特征系数(alpha=1.0)", fontsize=12)
plt.xlabel("系数大小")
plt.grid(alpha=0.3, axis='x')
plt.show()

5. 交叉验证找最优λ\lambdaλ(推荐做法)

# 生成候选lambda(对数分布,覆盖范围更广)
alphas = np.logspace(-3, 3, 50)  # 从0.001到1000的50个值

# 网格搜索+5折交叉验证
param_grid = {'alpha': alphas}
grid = GridSearchCV(
    Ridge(random_state=42),
    param_grid,
    cv=5,
    scoring='neg_mean_squared_error',  # 负MSE(越大越好)
    n_jobs=-1  # 并行计算
)
grid.fit(X_train_scaled, y_train)

# 最优结果
best_alpha = grid.best_params_['alpha']
best_ridge = grid.best_estimator_

print(f"=== 交叉验证最优结果 ===")
print(f"最优lambda: {best_alpha:.4f}")

# 最优模型性能
y_test_pred_best = best_ridge.predict(X_test_scaled)
print(f"优化后测试集 MSE: {mean_squared_error(y_test, y_test_pred_best):.4f}")
print(f"优化后测试集 R²: {r2_score(y_test, y_test_pred_best):.4f}")

6. λ\lambdaλ对模型的影响可视化

# 1. MSE随lambda变化趋势
mse_train_list = []
mse_test_list = []

for a in alphas:
    model = Ridge(alpha=a, random_state=42)
    model.fit(X_train_scaled, y_train)
    mse_train_list.append(mean_squared_error(y_train, model.predict(X_train_scaled)))
    mse_test_list.append(mean_squared_error(y_test, model.predict(X_test_scaled)))

plt.figure(figsize=(10, 6))
plt.plot(alphas, mse_train_list, label='训练集MSE', color='blue')
plt.plot(alphas, mse_test_list, label='测试集MSE', color='red')
plt.xscale('log')  # 对数刻度,更清晰
plt.xlabel('lambda(正则化强度)')
plt.ylabel('均方误差(MSE)')
plt.title('MSE随lambda变化趋势', fontsize=12)
plt.legend()
plt.grid(alpha=0.3)
plt.show()

# 2. 特征系数随lambda变化趋势
coef_df = pd.DataFrame(index=alphas, columns=X.columns)
for a in alphas:
    model = Ridge(alpha=a, random_state=42)
    model.fit(X_train_scaled, y_train)
    coef_df.loc[a] = model.coef_

plt.figure(figsize=(12, 6))
for col in X.columns:
    plt.plot(alphas, coef_df[col], label=col)
plt.xscale('log')
plt.xlabel('lambda(正则化强度)')
plt.ylabel('特征系数')
plt.title('特征系数随lambda变化路径', fontsize=12)
plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left')
plt.grid(alpha=0.3)
plt.tight_layout()
plt.show()

7. 最优模型的特征筛选与可视化

# 最优模型特征系数
coef_best = pd.Series(best_ridge.coef_, index=X.columns).sort_values()

# 可视化最优系数
plt.figure(figsize=(10, 6))
coef_best.plot(kind='barh', color='purple')
plt.axvline(0, color='black', linewidth=1)
plt.title(f"最优模型特征系数(lambda={best_alpha:.4f})", fontsize=12)
plt.xlabel("系数大小")
plt.grid(alpha=0.3, axis='x')
plt.show()

# 软特征选择(筛选系数绝对值>0.05的特征)
threshold = 0.05
selected_features = coef_best[abs(coef_best) > threshold].index.tolist()
print(f"=== 筛选后的关键特征 ===")
print(selected_features)

# 用筛选后的特征重新建模
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

# 标准化筛选后的特征
scaler_selected = StandardScaler()
X_train_selected_scaled = scaler_selected.fit_transform(X_train_selected)
X_test_selected_scaled = scaler_selected.transform(X_test_selected)

# 训练最终模型
final_model = Ridge(alpha=best_alpha, random_state=42)
final_model.fit(X_train_selected_scaled, y_train)

# 最终性能
y_pred_final = final_model.predict(X_test_selected_scaled)
print(f"\n筛选后模型 R²: {r2_score(y_test, y_pred_final):.4f}")
print(f"筛选后模型 MSE: {mean_squared_error(y_test, y_pred_final):.4f}")

8. 预测结果可视化(真实值vs预测值)

plt.figure(figsize=(8, 6))
plt.scatter(y_test, y_test_pred_best, alpha=0.3, color='blue')
plt.plot([y.min(), y.max()], [y.min(), y.max()], 'k--', linewidth=2)  # 对角线(理想预测)
plt.xlabel('真实房价中位数')
plt.ylabel('预测房价中位数')
plt.title('真实值 vs 预测值(最优岭回归模型)', fontsize=12)
plt.grid(alpha=0.3)
plt.show()

# 残差分布(验证模型假设合理性)
residuals = y_test - y_test_pred_best
plt.figure(figsize=(8, 4))
sns.histplot(residuals, bins=50, kde=True, color='gray')
plt.title('残差分布(真实值-预测值)', fontsize=12)
plt.xlabel('残差值')
plt.ylabel('频数')
plt.grid(alpha=0.3)
plt.show()

六、L2正则化的优缺点(必背)

优点

  1. 稳定处理多重共线性:通过正则化让相关特征系数均衡,避免普通回归的系数波动
  2. 防止过拟合:惩罚系数平方和,控制模型复杂度,提升泛化能力
  3. 数学解稳定:解析解存在且可逆(解决矩阵奇异问题),计算高效
  4. 保留全部特征:软筛选不直接删除特征,避免信息丢失(适合特征都有潜在价值的场景)
  5. 对异常值相对稳健:相比普通回归,受极端值影响更小

缺点

  1. 不能显式特征选择:系数不会直接为0,无法彻底删除无用特征(需手动设定阈值)
  2. 模型解释性略差:保留所有特征,即使系数接近0也会参与预测,不如L1简洁
  3. 依赖标准化:对特征尺度敏感,必须先标准化才能保证惩罚公平
  4. 不适用于稀疏建模:若需构建“少特征”的稀疏模型,L2不如L1或ElasticNet

七、L2正则化与其他特征选择方法对比

方法正则项形式是否稀疏抗多重共线性特征选择方式适合场景
L2正则化(岭回归)∑wj2\sum w_j^2∑wj2​否强软选择(系数接近0)特征相关、需保留全部特征
L1正则化(Lasso)∑\sum∑ |wjw_jwj​|是弱硬选择(系数=0)高维数据、需稀疏建模
ElasticNetλ1∑\lambda_1\sumλ1​∑ |wjw_jwj​| + λ2∑wj2\lambda_2\sum w_j^2λ2​∑wj2​是中混合选择需平衡稀疏性与稳定性
树模型(RF/XGBoost)基于节点分裂增益是强嵌入式选择非线性关系、特征交互复杂
过滤法(卡方/方差)无(基于统计指标)是弱过滤式选择初步粗筛、快速去除低价值特征

八、适用场景与替代方案

优先用L2正则化的情况

  1. 特征存在显著多重共线性(如经济、金融数据)
  2. 不希望删除任何特征(担心信息丢失)
  3. 追求模型稳定性和泛化能力(预测优先于解释)
  4. 线性模型场景(如线性回归、逻辑回归)

考虑其他方法的情况

  1. 需显式删除特征(稀疏建模):用L1正则化或ElasticNet
  2. 数据非线性、特征交互复杂:用随机森林、XGBoost(自带特征重要性)
  3. 快速粗筛特征:用过滤法(如方差阈值、互信息)
  4. 既要稀疏性又要稳定性:用ElasticNet(L1+L2混合)

九、最简单总结(背诵版)

  1. L2正则化(岭回归)= 线性回归 + L2范数惩罚(系数平方和)
  2. 核心作用:防过拟合、处理多重共线性、软特征选择
  3. 关键步骤:必须标准化特征 + 交叉验证调λ\lambdaλ
  4. 优点:稳定、抗共线性、保留全部特征
  5. 缺点:不直接删除特征、依赖标准化、不适用于稀疏建模
正则化L1和L2 1、 L1正则化通过向损失函数添加权重系数的绝对值之和来对模型参数进行惩罚。2、 L1正则化倾向于产生稀疏解,即它倾向于将模型中不重要的参数置为0,从而实现特征选择。这意味着在模型的最终解中,许多参数将是零,这有助于创建一个简洁的模型并减少模型的复杂性。3、 L1正则化不具有解析解,通常需要使用诸如坐标下降法或子梯度方法等优化算法求解。 阅读详情

相关推荐

岭回归和Lasso 回归

线性回归存在问题: 在处理复杂的回归问题时,普通的线性回归问题会出现预测精度不够的问题,如果模型中特征之间有较强的相关关系时,即特征之间出现严重的多重共线性时,用普通最小二乘法估计模型参数,往往参数估计的方差太大,求出来的模型就很不稳定。再具体取值上与真值有较大偏差。这时就需要对数据中的特征进行提取,回归算法里面的特征选择的方法有岭回归和 Lasso 回归。这两种方法都属于正则化的特征选...

IMWTJ123的博客 2286

L1 正则化和L2正则化

正则化是指对模型做显式约束,以避免过拟合。 L1正则化:使某些系数刚好为 0。这说明某些特征被模型完全忽略。这可以看作是一种自动化的特征选择。某些系数刚好为 0,这样模型更容易解释,也可以呈现模型最重要的特征。 L2正则化:对系数(w)的选择不仅要在训练数据上得到好的预测结果,而且还要拟合附加 约束。我们还希望系数尽量小。换句话说,w 的所有元素都应接近于 0。直观上来看,这 意味着每个特征对输出的影响应尽可能小(即斜率很小),同时仍给出很好的预测结果。 ...

dlzzld的博客 3784

特征工程: 嵌入式方法

嵌入式方法是一种常用的特征选择技术,它将特征选择与模型训练过程合并在一起,通过优化模型的性能来选择最佳的特征子集。嵌入式方法是一种强大的特征选择技术,它能够在模型训练过程中自动选择最佳的特征子集,减少特征维度,提高模型的泛化能力。参数)来实现特征选择嵌入式方法是一种常用的特征选择技术,它将特征选择与模型训练过程合并在一起,通过优化模型的性能来选择最佳的特征子集。通过正则化技术,如L1正则化和L2正则化,嵌入式方法能够控制特征的权重,从而实现特征选择。模型训练完成后,我们通过查看模型的系数来确定选择的特征。

FDSJRU的博客 212

L1L2正则化的选择

首先了解范数: 范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。范数的一般化定义:对实数p>=1, 范数定义如下: L0范数 表示非零元素的个数 L1范数 当p=1时,是L1范数,其表示某个向量中所有元素绝对值的和。 L2范数 当p=2时,是L2范数, 表示某个向量中所有元素平方和再开根, 也就是欧几里得距离公式。 加入正则化则减小模型复杂度: L0范数限制非零参数个数 L1...

qq_38016957的博客 1894

岭回归与LASSO回归:正则化方法的比较与应用

岭回归(Ridge Regression)和LASSO回归(Least Absolute Shrinkage and Selection Operator Regression)是两种常见的正则化方法,用于处理线性回归问题中的多重共线性以及特征选择。综上所述,岭回归和LASSO回归是常用的正则化方法,用于处理线性回归中的多重共线性和特征选择问题。其中,Y是因变量,X是自变量矩阵,β是回归系数,λ是正则化参数。其中,Y是因变量,X是自变量矩阵,β是回归系数,λ是正则化参数。与岭回归不同的是,这里指定。

PixelLoom的博客 316

深度学习调参总结(英文版)

Disclaimer: weakly coupled topics, so may be a little chaotic, short summaries of interesting problems, my random thoughts on those problems, A rough plan of this presentation: learning schedulers, batch size optimizers ZeroInit mixup, label smoothing etc

深度神经网络—正则化(一)L2正则化

深度学习可能存在过拟合问题——高方差,有两个解决办法,一是正则化,另一个是准备更多的数据,但由于无法时时刻刻准备足够多的训练数据或者获取数据的成本高,所以通常使用正则化的方法来避免过拟合。 正则化的主要方法有: L2正则化 dropout 数据增广 early stopping Bagging 在样本中增加噪声 本篇博客先介绍L2正则化 1. L2正则化公式及参数更新 我们代价函数中加入正...

v_road的博客 1万+

告别QWebEngineView!用QtLocation+SQLite打造离线地图应用(附完整源码)

本文详细介绍了如何利用QtLocation模块与SQLite数据库构建高性能离线地图引擎,解决传统QWebEngineView方案在网络依赖、内存占用和定制化方面的不足。通过多级缓存机制、异步写入优化和纹理压缩技术,实现工业级应用的稳定运行和高效渲染,特别适合车载导航和野外勘探等场景。

weixin_30431445的博客 365

L1和L2正则化

1 过拟合问题 过拟合是数据科学领域的一个重要问题,需要处理好过拟合问题才能建立一个健壮和准确的模型。当模型试图很好的拟合训练数据但导致无法泛化到测试数据时,就出现了过拟合。过拟合模型捕捉的更多的是训练数据找的呢细节和噪声,而不是模型的整体趋势。因此,即使特征的细微变化也会极大的改变模型的结果。这就导致过拟合模型在训练数据上表现的很出色,但在测试数据上表现不佳。 为了便于理解,我们模拟模型的训练过程,实际上模型训练的过程就是不断迭代直到找到一个方程y=f(x)y=f(x)y=f(x)来拟合数据集。但是怎么去

weixin_44498476的博客 4340

Unity地形优化实战:LOD、合批与HLOD打造流畅开放世界

在计算机图形学与游戏开发中,渲染优化是保障应用流畅运行的核心技术。其基本原理在于通过算法与策略,在视觉保真度与硬件资源消耗之间寻求最佳平衡,旨在提升帧率、降低功耗。这一技术的核心价值在于,它直接决定了大规模场景(如开放世界游戏)在性能受限平台(尤其是移动设备)上的可行性。具体到地形渲染这一关键应用场景,开发者需要综合运用多层次细节(LOD)技术来动态调整模型精度,并通过Draw Call合批(Batching)与GPU实例化(GPU Instancing)来大幅减少CPU到GPU的通信开销。对于超大规模世界

weixin_28077113的博客 334

CS5523实战:如何用国产芯片完美替代LT8911设计MIPI转eDP电路(附原理图)

本文详细介绍了使用国产芯片CS5523完美替代LT8911进行MIPI转eDP电路设计的实战经验。文章从芯片选型、核心特性对比入手,深入剖析了电源时钟设计、MIPI/eDP接口的PCB布局与信号完整性要点,并提供了完整的原理图参考和调试排错指南,为硬件工程师实现国产化替代提供了清晰可行的方案。

yhn4567890的博客 1142

如何选择正则化技术的参数?

例如,对于 L1 和 L2 正则化,可以设置一个参数范围,如λ1从 0.001 到 0.1,λ2从 0.0001 到 0.01,然后使用网格搜索遍历所有可能的组合,找到在验证集上性能最佳的参数设置。如果发现模型在训练集上的性能很好,但在验证集上的性能下降,那么可能是出现了过拟合,需要调整正则化参数。- 例如,可以先尝试不同的 L1 和 L2 正则化参数,观察模型在训练集和验证集上的损失函数值和准确率的变化。- 在你的数据集上进行一些初步的实验,尝试不同的正则化技术和参数设置,观察模型的性能。

alankuo的专栏 3540

企业AI选型大揭秘:扣子(Coze) Bot与微信对话开放平台深度剖析

本文对比分析了字节跳动的扣子(Coze)Bot和腾讯的微信对话开放平台两款AI聊天机器人解决方案。扣子(Coze)Bot凭借强大的大模型支持、丰富的插件生态、低代码开发及多平台部署能力,在功能丰富度和灵活性方面表现突出,适合技术实力强、业务场景复杂的企业。微信对话开放平台则依托微信生态优势,在客户服务和营销推广场景中更具优势,其零门槛接入方式更适合技术能力较弱的企业。企业在选型时应综合考虑规模、预算、业务场景和技术能力等因素,选择最适合的AI解决方案,以充分发挥AI技术价值,提升企业竞争力。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 435

数据预处理—2.为什么Lasso回归可以做特征选择(变量挑选)而岭回归做不到呢?

文章目录1.问题解答 1.问题解答   Lasso回归与岭回归都是对线性回归进行正则化。 线性回归的损失函数为: RSS=J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2RSS=J(w) = \sum\limits_{i=1}^{N}(y_i-w_0-\sum\limits_{j=1}^{p}w_jx_{ij})^2RSS=J(w)=i=1∑N​(yi​−w0​−j=1∑p​wj​xij​)2 岭回归的损失函数为: J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2+λ∑j=1pwj2=R

柳杰的博客 3562

第 13 章:Spring AI Alibaba MCP 与 Nacos3 — 企业级MCP服务

理解Spring AI Alibaba 框架下的MCP服务与Nacos注册中心整合的必要性,学会Spring AI Alibaba-基于Nacos的MCP实现方法

paopao_wu的专栏 789

【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务

【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务 | 【赛题解析&命令脚本配置】2024年第十七届山东省技能大赛 | 网络系统管理”赛项-模块B:Linux服务部署 & ⑤客户端OutsideCli和InsideCli工作任务

君逍遥o 320

【监督学习】套索回归与岭回归(含代码)

岭回归与套索回归

sikh_0529的博客 1万+

【CVPR2025 DEIM】超详细!手把手训练自己的数据集教学:从源码下载,配置虚拟环境,准备数据集、训练、验证、推理测试 ,实现0到1的完整教学过程。本文在win系统上训练,最强实时目标检测算法!

本文详细介绍了CVPR2025 DEIM目标检测模型的完整使用流程。内容包含:1)源码下载与虚拟环境配置;2)Visdrone2019数据集准备与配置文件修改;3)训练参数设置及Windows系统常见问题解决方案;4)模型验证、推理测试及热力图生成方法。特别针对Windows用户提供了虚拟环境配置指导,并详细说明了数据集路径设置、参数调整等关键步骤。通过本文的指导,小伙伴可以快速掌握DEIM模型的使用方法,用于学术论文研究和实验分析。

Ai缝合怪、助力小伙伴高效发论文 7672

通俗易懂--岭回归(L2)、lasso回归(L1)、ElasticNet讲解(算法+案例)

目录1.L2正则化(岭回归)1.1问题1.2公式1.3对应图形1.4使用场景1.5代码实现2.L1正则化(lasso回归)2.1公式2.2对应图形2.3使用场景2.4代码实现3.ElasticNet回归3.1公式3.2使用场景3.3代码实现 1.L2正则化(岭回归) 1.1问题 想要理解什么是正则化,首先我们先来了解上图的方程式。当训练的特征和数据很少时,往往会造成欠拟合的情况,对应的是左边的坐...

mantch 1688

1000路监控IP地址规划的方法与思路!看完就会!超简单!

四个区域ip地址比较明显了,如果那个摄像机有问题,可以直接通过批量ping ip地址可以很快定位到那个摄像机出了问题,同时也可以有效防止ip冲突,ip是网络故障中出现频率比较高的问题,也可以减少广播风暴。,如果让系统自动分配ip地址的话,容易产生ip冲突,所以1000路监控的ip地址不能只有一个大网段,我们需要对其划分vlan,方便管理和减少网络故障。”,如果你在开始了dhcp自由分配ip地址的话,容易出现ip冲突等问题,所以设置时需要注意。255.255.252.0,可以容纳,4*254个ip地址。

qq_43416206的博客 501

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Python scikit-learn,欠拟合、过拟合,正则化 (特征选择),岭回归(带正则化的线性回归,解决过拟合)

欠拟合(underfitting)---训练误差大,测试误差也大---模型过于简单(特征太少) 过拟合(overfitting)---训练误差小,但测试误差大---模型过于复杂(特征太多,使用了复杂的非线性关系;训练样本有误、过少) 过拟合的解决办法: 1、增加训练样本数 2、进行特征选择、特征降维,消除嘈杂特征,消除关联性大的特征(很难做) 3、交叉验证(让所有数据都有过训练) 4、...

houyanhua1的专栏 1928

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

L0,L1,L2正则,lasso,岭回归

L0正则: 我们要讨论的第一个规范是L0规范。根据定义,x的L0范数是 严格来说,L0范数实际上不是一个范数。它是基数函数,其定义形式为L0-norm,尽管许多人称其为范数。使用它有点棘手,因为其中存在零次幂和零次方。显然,任何x> 0都将变为1,但是零次幂(尤其是零次幂)的定义问题使这里变得混乱。因此,实际上,大多数数学家和工程师都使用L0-范数的此定义: 那就是向量中非零元素的总数。 例如,向量(0,0)和(0,2)的L0范数为1,因为只有一个非零元素。 L0范数的一个很好的实用示例是当具有两

None_Pan的博客 1125

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

正则化_(理论+代码)模型正则化:L1正则、L2正则

0x00 前言 我们已经知道了模型误差 = 偏差 + 方差 + 不可避免的误差,且在机器学习领域中最重要就是解决过拟合的问题,也就是降低模型的方差。在上一篇文章《ML/DL重要基础概念:偏差和方差》已经列出了如下方法:降低模型复杂度减少数据维度;降噪增加样本数使用验证集其实还有一个降低方差的重要方法:模型正则化。本文从理论及代码两个方面对L1正则、L2正则进行了介绍,帮助大家了解其背后的...

weixin_39972151的博客 1402

线性回归、岭回归(Ridge Regression)和Lasso回归关系

线性回归、岭回归(Ridge Regression)和Lasso回归是三种常用的回归方法,本质都是线性回归方法,它们的核心区别在于对模型复杂度的控制方式以及对特征的处理。

很高兴遇见更好的自己 2013

套索回归 岭回归_岭和套索回归简介

套索回归 岭回归Recently my class has been covering topics of regression and classification. We are now able to use the data that we have to make predictions, analyze the data better, and draw significant con...

weixin_26739165的博客 1485

弹性网络_第七天:正则化,岭回归,LASSO回归和弹性网络

上一期我们讲过过拟合是机器学习中常见的问题,具体表现在虽然模型的训练误差在不断减小,但是模型的测试误差在不断增大,也就是说模型的泛化能力很差,如下图所示:过拟合的本质是机器学习的模型过于复杂,因此学习到了训练数据中的奇异值或噪声,因此对未见过的数据识别能力很差。正则化技术能够改善模型在未知数据上的表现,提高机器学习模型的泛化能力。根据奥卡姆剃刀原理,在所有可能选择的模型中,能很好解释已知...

weixin_29251567的博客 1114
上一篇: 【特征选择方法】L1正则化(Lasso)
下一篇: 【特征选择】单变量特征选择
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值