CORE CONCEPT -----Regularization

最新推荐文章于 2025-08-13 18:48:13 发布
原创 最新推荐文章于 2025-08-13 18:48:13 发布 · 230 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

博客介绍了机器学习中正则化的相关内容。正则化旨在避免模型过度拟合，通过在成本函数中增加额外项惩罚复杂模型。还介绍了常见的正则化方法，如岭回归和套索回归，分别适用于不同场景，帮助我们更好地处理数据建模中的过度拟合问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Regularization

Motivation

请考虑以下情形。 你正在做一个花生酱三明治，并试图调整成分，使其具有最好的味道。 您可以在决策过程中考虑面包类型，花生酱类型或花生酱与面包比例。 但是你会考虑其他因素，比如房间里的温暖程度，早餐吃的东西，或者穿着什么颜色的袜子？ 你可能不会因为这些东西对三明治的味道没有那么大的影响。 对于最终使用的任何配方，您将更多地关注前几个功能，并避免过多关注其他配方。 这是正规化的基本思想。

Overview

在之前的模块中，我们已经看到在一些样本集上训练的预测模型，并根据它们与测试集的接近程度进行评分。 我们显然希望我们的模型能够做出准确的预测，但它们是否过于准确？ 当我们查看一组数据时，有两个主要组成部分：基础模式和噪声。 我们只想匹配模式而不是噪音。 考虑下面代表二次数据的数字。 图1使用线性模型来近似数据。 图2使用二次模型来近似数据。 图3使用高次多项式模型来近似数据。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a simple linear model here
model = Pipeline([('poly', PolynomialFeatures(degree=1)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
y_predictions = model.predict(x)

# Plot data
sns.set_style("darkgrid")
plt.plot(x, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a quadratic model here (polynomial with degree 2)
model = Pipeline([('poly', PolynomialFeatures(degree=2)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a polynomial model here (polynomial with degree 10)
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

图1不适合数据，图2看起来非常适合数据，图3非常适合数据。 在上述所有模型中，第三个模型可能是测试集中最准确的模型。 但这不一定是件好事。 如果我们添加一些更多的测试点，我们可能会发现第三个模型在预测它们时不再准确，但第二个模型仍然相当不错。 这是因为第三个模型过度拟合。 过度拟合意味着它在拟合测试数据（包括噪声）方面做得非常好，但在推广新数据方面做得不好。 第二个模型非常适合数据，并不复杂，不会泛化。

正规化的目标是通过惩罚更复杂的模型来避免过度拟合。 正规化的一般形式包括在我们的成本函数中增加一个额外的术语。 因此，如果我们使用成本函数CF，则正则化可能会导致我们将其更改为CF +λ* R，其中R是我们权重的一些函数，而λ是调整参数。 结果是具有更高权重（更复杂）的模型受到更多惩罚。 调整参数基本上可以让我们调整正则化以获得更好的结果。 λ越高，权重对总成本的影响越小。

Methods

我们可以使用许多方法进行正则化。 下面我们将介绍一些比较常见的以及何时使用它们。

Ridge Regression

岭回归是一种正则化，其中函数R涉及对权重的平方求和。 等式1示出了修改的成本函数的示例。

等式1是正则化的示例，其中w表示我们的权重。 岭回归迫使权重接近零但永远不会使它们为零。 这意味着所有特征都将在我们的模型中表示，但过度拟合将被最小化。 当我们没有大量的功能并且只是想避免过度拟合时，岭回归是一个不错的选择。 图4给出了应用和不应用岭回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在图4中，黑线表示未应用岭回归的模型，红线表示应用岭回归的模型。 注意红线的平滑程度。 它可能会对未来的数据做得更好。

在包含的regularization_ridge.py文件中，添加岭回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Ridge回归就像在Pipeline调用中添加一个额外的参数一样简单。 这里，参数alpha代表我们的调整变量。 有关scikit-learn中的岭回归的更多信息，请参阅此处here。

Lasso Regression

套索回归是一种正则化，其中函数R涉及对权重的绝对值求和。 公式2显示了修改后的成本函数的示例。

等式2是正则化的示例，其中w表示我们的权重。 请注意类似岭回归和套索回归的相似之处。 唯一明显的区别是权重的平方。 这恰好会对他们的工作产生重大影响。 与岭回归不同，套索回归可以强制权重为零。 这意味着我们生成的模型甚至可能不考虑某些功能！ 在这种情况下，我们有一百万个功能，其中只有少量很重要，这是一个非常有用的结果。 套索回归让我们可以避免过度拟合，并专注于我们所有功能的一小部分。 在最初的情景中，我们最终会忽略那些对我们的三明治饮食体验影响不大的因素。 图5给出了应用和不应用套索回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在上图中，黑线表示未应用Lasso回归的模型，红线表示应用了Lasso回归的模型。 红线比黑线更平滑。 Lasso回归应用于10度的模型，但结果看起来它的程度要低得多！ 对于未来的数据，Lasso模型可能会做得更好。

在包含的regularization_lasso.py文件中，添加Lasso回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Lasso回归就像添加Ridge回归一样简单。 这里，参数alpha表示我们的调优变量，max_iter表示要运行的最大迭代次数。 有关scikit-learn中的Lasso回归的更多信息，请参阅此处here。

Summary

在本单元中，我们了解了正规化。 通过正规化，我们找到了避免过度拟合数据的好方法。 这是建模中常见但重要的问题，因此最好知道如何调解它。 我们还研究了一些我们可以在不同情况下使用的正则化方法。 有了这个，我们已经充分了解了机器学习的核心概念，以进入我们的下一个主题 - 监督学习。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

如何优化AI原生应用领域认知架构的性能
AI云原生与云计算技术学院
07-25 657
本文系统阐述了AI原生应用领域认知架构性能优化的理论基础与实践方法。通过第一性原理分析，将认知架构解构为知识表征、推理引擎、学习机制和决策系统四大核心组件，建立了"表征-计算-资源"三维优化框架。文章深入探讨了各组件的性能瓶颈来源，提供了从算法优化到系统架构的多层次解决方案，并通过实际案例展示了优化策略的应用效果。特别关注了神经符号融合架构的性能挑战与突破点，为构建高效、鲁棒、可扩展的AI原生应用认知系统提供了全面的技术路线图。1.3.1 计算效率挑战高维特征空间的处理复杂性深度推理链的计算开销。
AI原生应用领域：增量学习推动智能应用创新发展
小程序开发
07-25 712
那么，究竟什么是“AI原生应用” (AI-Native Application)？AI原生应用指的是以人工智能技术为核心引擎，从设计理念、架构设计到功能实现、运营优化，都深度融合和依赖AI能力的应用程序。其价值创造和用户体验的提升主要来源于AI模型对数据的理解、分析、预测和决策。数据是AI原生应用的“燃料”。应用通过持续采集、分析数据来驱动AI模型的优化和迭代，而非依赖预设规则或静态算法。能够在复杂或动态环境中，基于数据和模型做出相对自主的决策，而非仅仅执行明确的用户指令。
正则化(regularization)方法总结
热门推荐
BGoodHabit的博客
06-30 1万+
8.7 归一化和正则化的区别 https://arxiv.org/pdf/1706.05350.pdf?source=post_page(https://arxiv.org/pdf/1706.05350.pdf?source=post_page https://ai-pool.com/a/s/understanding-of-regularization-in-neural-networks
论文精读--CLIP
m0_73202283的博客
11-13 2579
论文链接：CLIP的迁移学习能力非常强，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果CLIP是zero-shot零样本学习的模型，也就是说CLIP无需在这些数据集上进行训练就能得到很好的效果作者在超过30个数据集上做了测试，涵盖了OCR、视频动作检测、坐标定位和许多细分类任务在所有的测试结果当中，表现最突出的是在ImageNet上的结果，在不使用128万中的任何一张图片训练的情况下，能得到与训练好的Resnet-50同样的效果CLIP模型总览图。
Python深度学习-快速指南
cunzai1985的博客
09-22 3410
Python深度学习-快速指南 (Python Deep Learning - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Python深度学习-简介 (Python Deep Learning - Introduction) Deep structured learning o...
【Arxiv 2025】Single Image Iterative Subject-driven Generation and Editing
Joselynzhao
04-27 1106
本文提出 SISO，一种无需训练的单图像主题驱动生成与编辑方法，通过迭代优化 DINO 和 IR 特征相似度损失，结合 LoRA 微调扩散模型，实现主题身份保留与背景过滤。实验表明，其在图像质量、主题保真度和背景保留上显著优于基线，为单图像个性化生成开辟新方向。
Tree - XGBoost with parameter description
weixin_30719711的博客
07-23 151
In the previous post, we talk about a very popular Boosting algorithm - Gradient Boosting Decision Tree. The key of GBM is using Gradient Descent to optimize the loss function. But why Gradient Descen...
awesome-Gaussian-Splatting
devil59468的博客
12-28 1282
Abstractscene;AbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstract。
AIDD- Artificial Intelligence Drug Design
itwangyang520的博客
06-24 803
摘要：人工智能药物设计（AIDD）Python基础入门 本文介绍了AIDD（人工智能药物设计）中Python编程的基础知识，包括环境配置、基本语法、数据类型、输入输出和条件语句。主要内容： 环境搭建：推荐使用Anaconda安装Python，配置虚拟环境并安装NumPy、Pandas等科学计算库。 基础语法：通过"Hello World"示例展示Python的print函数和代码结构。 变量与数据类型：涵盖整数、浮点数、字符串和布尔型变量在药物数据（如化合物名称、分子量）中的使用。 输入
Dive into Deep Learning
u012841277的专栏
01-02 1584
Deep Learning Programming Style Imperative Programs (命令式编程): PyTorch Programs perform computation as what you write. Symbolic Programs (符号式编程): Tensorflow We define the abstract function in terms of
Self-Ensemble思维链
01-18
The core idea behind this approach lies in leveraging diverse perspectives provided by these varied instances of the model trained on slightly altered datasets derived through transformations like ...
机器学习 - Titanic幸存者预测保姆级
weixin_50303971的博客
10-11 547
泰坦尼克号的沉没是世界上最严重的海难事故之一，今天我们通过一套新手级的教程预测一下哪些人可能成为幸存者。
机器学习——DBSCAN
2501_91237346的博客
08-10 1132
本文介绍了DBSCAN密度聚类算法的原理、参数调优及实现过程。DBSCAN通过定义核心对象、E邻域和密度可达等概念，能够发现任意形状的聚类并识别噪声点。文中详细说明了Python中sklearn.cluster.DBSCAN的参数设置，包括eps邻域半径、min_samples最小样本数等关键参数的影响。同时提供了完整的代码实现，包括数据预处理、DBSCAN模型训练、轮廓系数评估等步骤，并对比了KMeans与DBSCAN在真实数据集上的表现。最后通过标签对齐方法解决了聚类标签与真实标签的映射问题，采用分类指
机器学习⑤【线性回归（Linear Regression】
最新发布
m0_74027965的博客
08-13 450
梯度下降不仅是线性回归的求解工具，更是深度学习的基础。希望本文能帮助你掌握其核心数学原理和实现技巧！
python学智能算法（三十六）|SVM-拉格朗日函数求解（中）-软边界
专注python+工程实践的热心婶子
08-09 1252
本文详细推导了软间隔SVM的拉格朗日方程求解过程。首先建立包含松弛变量ξ的拉格朗日函数，然后通过分别对w、b和ξ_i求偏导，得到关键表达式：w可由样本线性表示、α与y的加权和为零、以及α_i的取值范围0≤α_i≤C。将这些结果代入原方程后，最终简化为仅含α_i的优化问题。整个推导过程清晰地展示了软间隔SVM的数学基础，为后续求解奠定了基础。
自动驾驶中安全相关机器学习功能的可靠性定义方法
NewCarRen的博客
08-13 723
本文针对高自动化驾驶(HAD)中基于机器学习功能的安全标准空白展开研究。文章指出现有ISO 26262和SOTIF标准无法完全满足HAD需求，特别是神经网络的不透明性带来的验证挑战。作者提出"功能可靠性"概念，以行人检测为例构建了统计可靠性Rs和动态可靠性Rd的数学表达，通过精确率、召回率、IOU等指标量化功能质量。研究还探讨了传感器融合、算法优化等提高可靠性的方法。这项工作为HAD中机器学习功能的安全评估提供了新思路，建议行业共同建立验证数据集和关键参数标准，推动HAD安全标准的发展。
机器学习DBSCAN密度聚类
cpluspluszz的博客
08-09 955
DBSCAN是一种强大的密度聚类算法，核心是通过“核心对象”和“密度可达”定义簇，天然抗噪声且能处理任意形状的簇。实战中需重点调参ε和min_samples，推荐使用k-distance图辅助选择ε。下次遇到传统聚类算法无法解决的复杂数据时，不妨试试DBSCAN。
李宏毅2025《机器学习》-第十二讲：让AI“开口说话”：深入解析语音语言模型（SLM）的发展历程与核心技术
木鱼时刻的专栏
08-12 1080
当大型语言模型（LLM）在文本世界的能力趋于成熟时，人工智能的下一个前沿阵地正转向一个更复杂、更具人性的维度——语音。本文基于李宏毅教授的最新课程，系统地梳理了“语音语言模型”（Spoken Language Model, SLM）的发展历程与核心技术。
Regularization-based持续学习
04-03
基于正则化的持续学习（Regularization-Based Continual Learning）是一种通过约束模型参数的变化来缓解灾难性遗忘的方法。这种方法的核心思想是在学习新任务的同时，保护旧任务的知识不被覆盖或破坏。具体来说，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九妹123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值