L1正则化如何导致参数的稀疏性

L1正则化如何导致参数的稀疏性

一直以来对LR正则化添加的L1，L2 惩罚项没有搞清楚其意义

pluskid的博客http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#67364f6b44ff80f9f952d5a46f2307425d2ee9ac

让我明白了一直以来的疑问，对数据量非常少，特征非常多的情况下，会导致求解不唯一性，加上约束项可以得到一个确定的解，同时也导致了稀疏性的产生

同时另外一文章 http://freemind.pluskid.org/machine-learning/equivalence-of-several-l1-sparsity-problem/  讲清楚了凸优化的几种等价形式的原理。

斯坦福大学同样有一篇文章讲述了稀疏性编码的入门介绍文章

http://deeplearning.stanford.edu/wiki/index.php/%E7%A8%80%E7%96%8F%E7%BC%96%E7%A0%81

，思路很清楚，结合pluskid 关于惩罚项的分析，可以很好的理解稀疏编码的意义

还有某才女的分析http://blog.youkuaiyun.com/abcjennifer/article/details/7748833，进一步从0范数，2范数的逐渐过度到为什么采样1范数作惩罚项目并和pluskid 一样先从二维图图形的角度去直观的分析0范和2范的问题，最终分析到1范条件。整个过程都清楚

感谢大神的分享啊