机器学习之正则化（转载）

最新推荐文章于 2025-12-06 13:55:35 发布
转载 最新推荐文章于 2025-12-06 13:55:35 发布 · 159 阅读 · 0
文章标签：

#机器学习 #正则化

该博客主要围绕机器学习中的正则化展开，虽内容仅提及转载原博链接，但核心聚焦于机器学习领域的正则化技术。
Lijinye1998
关注
机器学习：正则化技术
滴墨成殇的博客
11-08 513
正则化（regularization）技术是机器学习中十分常用的技术，它在不同的模型或者情景中以不同的名字出现，比如以L2正则化为例，如果将L2正则化用于linear regression，那么这就对应了ridge regression；如果将L2正则化用于神经网络（neural network），那么L2对应为权重衰减（weight decay）。 正则化的作用实际上就是防止模型过拟合，提高模...
机器学习正则化推导
s610033492的博客
02-01 2933
假设我们的损失函数为cost(w)cost(w)。 　　如果不考虑正则化，我们的任务是：minmin cost(w)cost(w)，沿着梯度一直下降，最后得到极值点对应的ww。 　　 　　但现在我们有一个先验知识：我们认为合理的w应该小一点，不能太大。由于w是一个向量，所以表示为：||w||2≤C||w||^2\leq C，CC是一个常数。 　　如果把边界||w||2=C||w||^2=C
机器学习-之正则化详解
yuanshuaipeng的博客
04-22 289
本文为转载文章转载地址：https://www.cnblogs.com/jianxinzhou/p/4083921.html1. The Problem of Overfitting1还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化...
机器学习之正则化
小白白
09-13 318
原文转载自：http://www.cnblogs.com/jianxinzhou/p/4083921.html 1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房
机器学习总结之正则化
qq_24935875的博客
04-20 209
版权声明：本文系博主原创，转载请标明出处之前学习总是搞不懂正则化到底什么玩意儿，就知道它的公式，它能降低过拟合，但是，它到底为什么能降低过拟合呢，看了李航老师的《统计学习方法》有了些许体悟。以什么方式呈现呢，就以问答的方式吧，三省吾身，挺好的。1 为什么数据量过小会导致过拟合，为什么正则化能够降低过拟合？因为本质上来说我们选择模型的标注在于损失函数，我们往往将损失函数和我们真正使用的风险函数混淆了...
机器学习08-正则化
耿国锋的博客
03-30 1099
一，为什么要使用正则化    到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过度拟合(over-fitting)的问题，可能会导致它们效果很差。在这篇博文中，我将为你解释什么是过度拟合问题，我们将谈论一种称为正则(regularization)的技术，它可以改善或者减少过度拟合问题。如果我们有非
机器学习基础-正则化作用详解
FBeetle的博客
10-23 4790
正则化的概念在机器学习中经常被提到，本文主要介绍正则化的作用，通过一系列具体的例子，相信能够对正则化有一个非常清晰的认识。
机器学习 正则化
BIG SHARK的博客
06-13 257
正则化 1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟...
机器学习之正则化（Regularization）
diaolun4894的博客
11-08 1694
1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟合(underf...
机器学习之正则化技术
weixin_30481087的博客
05-08 144
前言 机器学习中的核心问题：模型的设计不仅在训练数据上表现好，并且能在新输入上泛化好； 正则化策略：以增大训练误差为代价，来减少测试误差（如果在训练误差上很小，可能出现过拟合的情况）； 最好的拟合模型（最小化泛化误差的意义上）是一个适当正则化的大型模型。 正则化(regularization)的作用实际上就是防止模型过拟合，提高模型的泛化能力。其思想是在损失函数中加入...
深度学习中的正则化技术 - 对抗训练篇
绎岚科技的博客
07-20 1393
在深度学习这片波澜壮阔的技术海洋中，对抗训练如同一股强劲的风暴，正深刻改变着模型鲁棒性与安全性的面貌。随着人工智能技术的飞速发展，尤其是在图像识别、自然语言处理等领域的广泛应用，模型的安全性问题日益凸显。对抗样本——那些经过精心设计，能够欺骗模型做出错误预测的输入数据，成为了衡量模型健壮性的一大挑战。对抗训练应运而生，它通过在训练过程中引入对抗样本，让模型学会在“攻击”中不断成长，从而提升其抵抗恶意输入的能力，确保模型在实际应用中的稳定性和可靠性。
机器学习：损失函数、代价函数、正则化
weixin_43868020的博客
08-08 1116
1. 定义 转载来自 几种常见的损失函数 损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。比如你要做一个线性回归，你拟合出来的曲线不会和原始的数据分布是完全吻合（完全吻合的话，很可能会出现过拟合的情况），这个差距就是用损失函数来衡量。 那么损失函数的值越小，模型的鲁棒性也就越好，对新数据的预测能力也就越强 损失函数（Loss Function) ：直接作用于单个样本，用来表达样本的误差 风险函数（R
机器学习 · 总览篇 VII 三要素之策略-正则化
OEDead的专栏
07-09 459
上一篇文章和本文主要介绍三要素的第二要素-策略：上一篇文章中已经介绍了策略中平衡经验风险和结构风险的正则化系数，衡量经验风险的代价函数和损失函数；本文继续介绍最后一个重要的内容，衡量结构风险的正则化项。 文章首发于我的博客，转载请保留链接 ???? 在上一篇文章中提到过，策略部分就是评判“最优模型”（最优参数的模型）的准则和方法，图1是目标函数的函数形式， 图1 机器学习模型的目标函数形式 如图1所示，目标函数包含了表征经验风险的代价函数和表征结构风险的正则化项，上篇文章已经介绍了正则化系数和损
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1031
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 870
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 697
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
【模式识别与机器学习（14）】惰性学习kNN（聚类分析）【3】K-means算法中K值确定的五种方式
hiliang521的博客
12-02 688
【模式识别与机器学习（14）】K-means算法中K值确定教程
深度学习与机器学习的3个关键区别
dream_it_come_in的博客
12-05 710
在人工智能的浪潮中，“机器学习” 和 “深度学习” 是两个高频出现却常被混淆的概念。很多人误以为深度学习是机器学习的 “升级版”，但实际上二者在技术逻辑、适用场景和核心能力上存在本质区别。今天我们就从三个核心维度，拆解它们的关键差异，帮你快速理清 AI 技术的底层逻辑。
机器学习之心程序和数据清单
最新发布
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
12-06 114
机器学习之心程序和数据清单
吴恩达教你实践逻辑回归，机器学习入门新篇章
资源摘要信息:"机器学习之逻辑回归_逻辑回归_机器学习" 逻辑回归是一种广泛应用于分类问题的统计方法，尤其在二分类问题中表现出色。它不仅简单易懂，而且在很多场景下都能提供很好的预测效果。逻辑回归虽然名字中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值