
正则化
文章平均质量分 82
Michael_Shentu
感兴趣方向:分布式计算与存储,广告计算学,分布式数据挖掘与机器学习,Hadoop,Spark,HBase
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
L2 正则化
在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有 (1)减少特征,留取最重要的特征。 (2)惩罚不重要的特征的权重。 但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。 先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说,在代价函数后面加转载 2016-02-05 14:52:11 · 1634 阅读 · 0 评论 -
正则化理解(一)
机器学习中常常会提到或者用到正则化项,在对目标函数求最优值时,常常通过L1,L2等正则化项来防止过拟合现象,对于正则化可以用来防止模型过拟合现象的问题,展开下讨论,加深理解。先看着两句话1. 正则化就是对最小化经验误差函数上加约束,这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用,在优化误差函数的时候倾向于选择满足约束的梯度减少的方向,使最终的解倾向于原创 2016-02-03 17:23:31 · 4338 阅读 · 1 评论 -
L1 与L2
L2 norm就是欧几里德距离 L1 norm就是绝对值相加,又称曼哈顿距离 搞统计的人总是喜欢搞什么“变量选择”,变量选择实际上的 限制条件是L0 Norm,但这玩艺不好整,于是就转而求L1 Norm(使用均方误差,就是Lasso ,当然在Lasso出来之前搞信号处理的就有过类似的工作),Bishop在书里对着RVM好一通 吹牛,其实RVM只是隐含着去近似了一个L0 Norm, 所以得到了原创 2016-02-03 17:30:12 · 855 阅读 · 0 评论