2021秋招-面试高频1-过拟合之正则化解读

面试高频1-正则化(L1\l2)解读

正则总结

L1、L2正则

BN

Dropout

Early Stop

L1、L2正则相关知识点集合(1.概念理解；2.贝叶斯、解空间推导；3.经典文章解读整理）

1. 正则化相关的面试题-bilibili-⭐⭐⭐
   
   
2. L1、L2正则化总结: L1,L2正则所有问题-视频-PPT截图⭐⭐⭐⭐
   5.1 知乎-L1正则化与L2正则化⭐⭐⭐
   5.2 贝叶斯眼里的正则化⭐⭐
   知乎-霍华德大佬的推导过程：

• 首先推导MLE到交叉熵等价。
• MAP推导出先验概率P(θ)；
  • 如果先验概率是 拉普拉斯分布，则是L1
  • 如果先验分布是 正太分布， 则是L2
• 然后通过 拉普拉斯分布、高斯分布的图像说明为什么，L1具有稀疏、特征选择的作用; .
• 损失函数+正则化= MAP=结构风险最小化
  
  5.2 深入理解L1、L2正则化
  5.3 L1和L2正则化的概率解释🎃
  5.4 机器学习中的范数规则化之（一）L0、L1与L2范数⭐⭐
  5.5 L1正则化和L2正则化的详细直观解释
  5.6 机器学习——正则化不理解的地方
  5.7 【机器学习基础第2期】机器学习中的范数规则化之L0、L1与L2范数、核范数
  
  
  
  
  
  
  
  

四种角度解读

奥卡姆剃刀角度：

解空间角度

结构风险最小化角度：

贝叶斯先验概率的角度：

优化角度

资料

1. Regularization 与 Weight Decay

Weight Decay

Regularization 的理解

既然谈到了 Regularization，顺带谈一个经常被提及的问题——Regularization 的解释，即它到底是为什么会带来正则化的效果的。

解空间角度

概率角度

面试问题

1. L1正则是不可导的,那么在这种情况下如何优化求解损失函数？

1. 正则L1和L2，以及L1不可导的处理（Proximal Algorithm近端算法）