CORE CONCEPT -----Regularization

最新推荐文章于 2025-08-20 15:16:48 发布
最新推荐文章于 2025-08-20 15:16:48 发布
阅读量230 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qinhe123/article/details/90406276
博客介绍了机器学习中正则化的相关内容。正则化旨在避免模型过度拟合，通过在成本函数中增加额外项惩罚复杂模型。还介绍了常见的正则化方法，如岭回归和套索回归，分别适用于不同场景，帮助我们更好地处理数据建模中的过度拟合问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Regularization

Motivation

请考虑以下情形。 你正在做一个花生酱三明治，并试图调整成分，使其具有最好的味道。 您可以在决策过程中考虑面包类型，花生酱类型或花生酱与面包比例。 但是你会考虑其他因素，比如房间里的温暖程度，早餐吃的东西，或者穿着什么颜色的袜子？ 你可能不会因为这些东西对三明治的味道没有那么大的影响。 对于最终使用的任何配方，您将更多地关注前几个功能，并避免过多关注其他配方。 这是正规化的基本思想。

Overview

在之前的模块中，我们已经看到在一些样本集上训练的预测模型，并根据它们与测试集的接近程度进行评分。 我们显然希望我们的模型能够做出准确的预测，但它们是否过于准确？ 当我们查看一组数据时，有两个主要组成部分：基础模式和噪声。 我们只想匹配模式而不是噪音。 考虑下面代表二次数据的数字。 图1使用线性模型来近似数据。 图2使用二次模型来近似数据。 图3使用高次多项式模型来近似数据。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a simple linear model here
model = Pipeline([('poly', PolynomialFeatures(degree=1)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
y_predictions = model.predict(x)

# Plot data
sns.set_style("darkgrid")
plt.plot(x, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a quadratic model here (polynomial with degree 2)
model = Pipeline([('poly', PolynomialFeatures(degree=2)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are using a polynomial model here (polynomial with degree 10)
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])

# Now we train on our data
model = model.fit(x, y)
# Now we pridict
# The next two lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_predictions = model.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_predictions, color='black')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

图1不适合数据，图2看起来非常适合数据，图3非常适合数据。 在上述所有模型中，第三个模型可能是测试集中最准确的模型。 但这不一定是件好事。 如果我们添加一些更多的测试点，我们可能会发现第三个模型在预测它们时不再准确，但第二个模型仍然相当不错。 这是因为第三个模型过度拟合。 过度拟合意味着它在拟合测试数据（包括噪声）方面做得非常好，但在推广新数据方面做得不好。 第二个模型非常适合数据，并不复杂，不会泛化。

正规化的目标是通过惩罚更复杂的模型来避免过度拟合。 正规化的一般形式包括在我们的成本函数中增加一个额外的术语。 因此，如果我们使用成本函数CF，则正则化可能会导致我们将其更改为CF +λ* R，其中R是我们权重的一些函数，而λ是调整参数。 结果是具有更高权重（更复杂）的模型受到更多惩罚。 调整参数基本上可以让我们调整正则化以获得更好的结果。 λ越高，权重对总成本的影响越小。

Methods

我们可以使用许多方法进行正则化。 下面我们将介绍一些比较常见的以及何时使用它们。

Ridge Regression

岭回归是一种正则化，其中函数R涉及对权重的平方求和。 等式1示出了修改的成本函数的示例。

等式1是正则化的示例，其中w表示我们的权重。 岭回归迫使权重接近零但永远不会使它们为零。 这意味着所有特征都将在我们的模型中表示，但过度拟合将被最小化。 当我们没有大量的功能并且只是想避免过度拟合时，岭回归是一个不错的选择。 图4给出了应用和不应用岭回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在图4中，黑线表示未应用岭回归的模型，红线表示应用岭回归的模型。 注意红线的平滑程度。 它可能会对未来的数据做得更好。

在包含的regularization_ridge.py文件中，添加岭回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with ridge
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('ridge', Ridge(alpha=5.0))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
# The next four lines are used to model input for our prediction graph
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Ridge回归就像在Pipeline调用中添加一个额外的参数一样简单。 这里，参数alpha代表我们的调整变量。 有关scikit-learn中的岭回归的更多信息，请参阅此处here。

Lasso Regression

套索回归是一种正则化，其中函数R涉及对权重的绝对值求和。 公式2显示了修改后的成本函数的示例。

等式2是正则化的示例，其中w表示我们的权重。 请注意类似岭回归和套索回归的相似之处。 唯一明显的区别是权重的平方。 这恰好会对他们的工作产生重大影响。 与岭回归不同，套索回归可以强制权重为零。 这意味着我们生成的模型甚至可能不考虑某些功能！ 在这种情况下，我们有一百万个功能，其中只有少量很重要，这是一个非常有用的结果。 套索回归让我们可以避免过度拟合，并专注于我们所有功能的一小部分。 在最初的情景中，我们最终会忽略那些对我们的三明治饮食体验影响不大的因素。 图5给出了应用和不应用套索回归的模型的比较。

code：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

在上图中，黑线表示未应用Lasso回归的模型，红线表示应用了Lasso回归的模型。 红线比黑线更平滑。 Lasso回归应用于10度的模型，但结果看起来它的程度要低得多！ 对于未来的数据，Lasso模型可能会做得更好。

在包含的regularization_lasso.py文件中，添加Lasso回归的代码是：

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.preprocessing import PolynomialFeatures
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression, Lasso
from sklearn.pipeline import Pipeline
import numpy as np

# Create a data set for analysis
x, y = make_regression(n_samples=100, n_features = 1, noise=15, random_state=0)
y = y ** 2

# Pipeline lets us set the steps for our modeling
# We are comparing a standard polynomial model against one with lasso
model = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('linear', LinearRegression(fit_intercept=False))])
regModel = Pipeline([('poly', PolynomialFeatures(degree=10)), \
('lasso', Lasso(alpha=5, max_iter=1000000))])

# Now we train on our data
model = model.fit(x, y)
regModel = regModel.fit(x, y)
# Now we pridict
x_plot = np.linspace(min(x)[0], max(x)[0], 100)
x_plot = x_plot[:, np.newaxis]
y_plot = model.predict(x_plot)
yReg_plot = regModel.predict(x_plot)

# Plot data
sns.set_style("darkgrid")
plt.plot(x_plot, y_plot, color='black')
plt.plot(x_plot, yReg_plot, color='red')
plt.scatter(x, y, marker='o')
plt.xticks(())
plt.yticks(())
plt.tight_layout()
plt.show()

添加Lasso回归就像添加Ridge回归一样简单。 这里，参数alpha表示我们的调优变量，max_iter表示要运行的最大迭代次数。 有关scikit-learn中的Lasso回归的更多信息，请参阅此处here。

Summary

在本单元中，我们了解了正规化。 通过正规化，我们找到了避免过度拟合数据的好方法。 这是建模中常见但重要的问题，因此最好知道如何调解它。 我们还研究了一些我们可以在不同情况下使用的正则化方法。 有了这个，我们已经充分了解了机器学习的核心概念，以进入我们的下一个主题 - 监督学习。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

如何优化AI原生应用领域认知架构的性能
AI云原生与云计算技术学院
07-25 685
本文系统阐述了AI原生应用领域认知架构性能优化的理论基础与实践方法。通过第一性原理分析，将认知架构解构为知识表征、推理引擎、学习机制和决策系统四大核心组件，建立了"表征-计算-资源"三维优化框架。文章深入探讨了各组件的性能瓶颈来源，提供了从算法优化到系统架构的多层次解决方案，并通过实际案例展示了优化策略的应用效果。特别关注了神经符号融合架构的性能挑战与突破点，为构建高效、鲁棒、可扩展的AI原生应用认知系统提供了全面的技术路线图。1.3.1 计算效率挑战高维特征空间的处理复杂性深度推理链的计算开销。
AI原生应用领域：增量学习推动智能应用创新发展
小程序开发
07-25 715
那么，究竟什么是“AI原生应用” (AI-Native Application)？AI原生应用指的是以人工智能技术为核心引擎，从设计理念、架构设计到功能实现、运营优化，都深度融合和依赖AI能力的应用程序。其价值创造和用户体验的提升主要来源于AI模型对数据的理解、分析、预测和决策。数据是AI原生应用的“燃料”。应用通过持续采集、分析数据来驱动AI模型的优化和迭代，而非依赖预设规则或静态算法。能够在复杂或动态环境中，基于数据和模型做出相对自主的决策，而非仅仅执行明确的用户指令。
正则化(regularization)方法总结
热门推荐
BGoodHabit的博客
06-30 1万+
8.7 归一化和正则化的区别 https://arxiv.org/pdf/1706.05350.pdf?source=post_page(https://arxiv.org/pdf/1706.05350.pdf?source=post_page https://ai-pool.com/a/s/understanding-of-regularization-in-neural-networks
论文精读--CLIP
m0_73202283的博客
11-13 2611
论文链接：CLIP的迁移学习能力非常强，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果CLIP是zero-shot零样本学习的模型，也就是说CLIP无需在这些数据集上进行训练就能得到很好的效果作者在超过30个数据集上做了测试，涵盖了OCR、视频动作检测、坐标定位和许多细分类任务在所有的测试结果当中，表现最突出的是在ImageNet上的结果，在不使用128万中的任何一张图片训练的情况下，能得到与训练好的Resnet-50同样的效果CLIP模型总览图。
Python深度学习-快速指南
cunzai1985的博客
09-22 3429
Python深度学习-快速指南 (Python Deep Learning - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Python深度学习-简介 (Python Deep Learning - Introduction) Deep structured learning o...
【Arxiv 2025】Single Image Iterative Subject-driven Generation and Editing
Joselynzhao
04-27 1143
本文提出 SISO，一种无需训练的单图像主题驱动生成与编辑方法，通过迭代优化 DINO 和 IR 特征相似度损失，结合 LoRA 微调扩散模型，实现主题身份保留与背景过滤。实验表明，其在图像质量、主题保真度和背景保留上显著优于基线，为单图像个性化生成开辟新方向。
Tree - XGBoost with parameter description
weixin_30719711的博客
07-23 151
In the previous post, we talk about a very popular Boosting algorithm - Gradient Boosting Decision Tree. The key of GBM is using Gradient Descent to optimize the loss function. But why Gradient Descen...
awesome-Gaussian-Splatting
devil59468的博客
12-28 1286
Abstractscene;AbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstractAbstract。
AIDD- Artificial Intelligence Drug Design
itwangyang520的博客
06-24 809
摘要：人工智能药物设计（AIDD）Python基础入门 本文介绍了AIDD（人工智能药物设计）中Python编程的基础知识，包括环境配置、基本语法、数据类型、输入输出和条件语句。主要内容： 环境搭建：推荐使用Anaconda安装Python，配置虚拟环境并安装NumPy、Pandas等科学计算库。 基础语法：通过"Hello World"示例展示Python的print函数和代码结构。 变量与数据类型：涵盖整数、浮点数、字符串和布尔型变量在药物数据（如化合物名称、分子量）中的使用。 输入
Dive into Deep Learning
u012841277的专栏
01-02 1586
Deep Learning Programming Style Imperative Programs (命令式编程): PyTorch Programs perform computation as what you write. Symbolic Programs (符号式编程): Tensorflow We define the abstract function in terms of
Self-Ensemble思维链
01-18
The core idea behind this approach lies in leveraging diverse perspectives provided by these varied instances of the model trained on slightly altered datasets derived through transformations like ...
机器学习 - Titanic幸存者预测保姆级
weixin_50303971的博客
10-11 549
泰坦尼克号的沉没是世界上最严重的海难事故之一，今天我们通过一套新手级的教程预测一下哪些人可能成为幸存者。
机器学习--决策树2
JYB0918的博客
08-19 495
决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。
Candle用 Rust 打造“小而快”的机器学习栈
hello.reader
08-18 1203
Candle 是 Hugging Face 推出的 Rust 机器学习框架，主打轻量、高性能与易部署。它既能在浏览器里跑 Whisper/T5/SegAnything，也能在服务器上跑 LLaMA、Stable Diffusion 和多卡 CUDA；既支持 safetensors/npz/ggml 等权重格式，也提供 FlashAttention v2、量化与 wasm。本文面向工程落地视角，讲清楚：为什么选 Candle、如何快速起步、典型应用场景、性能与部署要点、常见坑与对比选择。
机器学习-吴恩达笔记
whdehcy的博客
08-18 1370
简单说一下肘部原则：就是尝试多个聚类中心的个数，进行实验，得到对应的代价函数（loss值），然后按照个数的由小到大的增加画到一张图上，看看loss值有一个由大的波动到小的波动的拐点，那么我们选择这个拐点对应的聚类中心个数。就是如果说你有一个流动的数据流，就可以使用在线学习算法，还能够匹配到最新的趋势，比如用户的爱好在变化，你推荐给他的按照他的爱好变化而变化。PCA做的就是尝试找到一个面或线或别的在高维上可以将数据分隔开的东西，把数据投影到这个面或线上，以便最小化平方投影误差。确认没有误差运行时应该关闭。
机器学习（1）-K均值聚类
x1664的博客
08-18 799
1、K-means基本概念：是一种无监督学习方法，不依赖人工标注的类别，而是根据数据本身的特征，将相似的数据点自动分为若干类。给定一个参数，表示希望划分成的簇（cluster）数量；找到每个簇的“中心点”（质心，centroid），让同一簇内的点尽可能相似，不同簇之间的点尽可能不同。
机器学习——附录与补充
最新发布
qq_66878808的博客
08-20 506
简单来说，min-max 是一种“你最小化我的最大化”的博弈策略问题。min⁡x∈Xmax⁡y∈Yfxyx∈Xmin​y∈Ymax​fxy意思是：“我想选择一个xxx，让无论yyy怎么挑使得fxyf(x, y)fxy最大，它的值也尽量小。这个问题也叫鞍点问题对抗优化问题机器学习（对抗样本、GAN）博弈论（零和博弈）强化学习（最大最小价值）网络安全（最坏情况分析）
动手学深度学习（pytorch版）：第四章节—多层感知机（5）权重衰减
weixin_70217160的博客
08-18 678
本文介绍了正则化技术缓解模型过拟合的方法，重点讲解了权重衰减（L2正则化）的实现。通过高维线性回归示例展示了权重衰减的效果：未正则化时训练误差低但测试误差高（过拟合），加入L2惩罚后训练误差增大但测试误差降低。文章详细演示了从零开始实现权重衰减的过程，包括添加L2范数惩罚项到损失函数，以及使用PyTorch简洁实现的方式。实验结果表明，权重衰减能有效控制模型复杂度，在训练误差和测试误差之间取得更好平衡。
Regularization-based持续学习
04-03
### 基于正则化的持续学习方法 基于正则化的持续学习（Regularization-Based Continual Learning）是一种通过约束模型参数的变化来缓解灾难性遗忘的方法。这种方法的核心思想是在学习新任务的同时，保护旧任务的知识不被覆盖或破坏。具体来说，这些方法通常会引入额外的损失项到目标函数中，该损失项用于衡量当前模型参数相对于之前任务最优解的距离。 #### Elastic Weight Consolidation (EWC) Elastic Weight Consolidation 是一种经典的基于正则化的持续学习方法[^1]。它假设某些神经网络权重对于先前任务的表现至关重要，因此应该受到更大的保护。为了实现这一点，EWC 使用 Fisher Information Matrix 来估计每个权重的重要性，并将其纳入优化过程中： \[ L_{\text{total}} = L_{\text{task}} + \sum_i \frac{\lambda}{2} F_i (\theta_i - \theta_i^*)^2 \] 其中 \(L_{\text{task}}\) 表示当前任务的目标函数，\(F_i\) 是第 i 个权重对应的 Fisher Information，\(\theta_i^*\) 是前一任务结束时的权重值，而 \(\lambda\) 控制着正则化强度。 #### Synaptic Intelligence (SI) Synaptic Intelligence 提供了一种替代 EWC 的方式来计算权重重要性[^4]。与 EWC 不同的是，SI 并不需要显式地估算 Fisher Information，而是利用路径积分的思想动态跟踪每轮迭代期间权重变化的影响程度。其最终形式如下所示： \[ L_{\text{total}} = L_{\text{task}} + \sum_i w_i |\Delta \theta_i| \] 这里 \(w_i\) 反映了历史累积下来关于某个特定连接改变所造成的性能影响大小。 #### Online EWC 和其他变体 除了标准版之外还有多种改进版本如在线弹性权值凝聚法（Online EWC），它可以适应更复杂的场景，在线设置下无需存储所有以前的任务数据即可工作良好。此外还有一些混合策略比如联合使用经验重放机制进一步提升效果等等。 ```python import torch from torch import nn, optim class EWCLoss(nn.Module): def __init__(self, model_params, fisher_matrix, prior_model_params, lambda_reg=0.1): super(EWCLoss, self).__init__() self.fisher_matrix = fisher_matrix self.prior_model_params = prior_model_params self.lambda_reg = lambda_reg def forward(self, current_model_params): ewc_loss = 0. for name in self.fisher_matrix.keys(): param_diff = current_model_params[name] - self.prior_model_params[name] ewc_loss += torch.sum(self.fisher_matrix[name] * param_diff ** 2) return self.lambda_reg / 2 * ewc_loss # Example usage of the loss function within a training loop model = YourModel() optimizer = optim.SGD(model.parameters(), lr=0.01) ewc_criterion = EWCLoss(...) for epoch in range(num_epochs): for inputs, targets in dataloader: optimizer.zero_grad() outputs = model(inputs) task_loss = criterion(outputs, targets) ewc_penalty = ewc_criterion(dict(model.named_parameters())) total_loss = task_loss + ewc_penalty total_loss.backward() optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九妹123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值