使用L1范数惩罚进行Lasso回归（正则化）解决机器学习线性回归模型幻觉和过拟合的原理

一、引言

在老猿优快云的博文《人工智能基础概念3：模型陷阱、过拟合、模型幻觉》中介绍了通过L1或L2正则化来限制模型的复杂度来解决过拟合的问题，老猿当时并不了解这背后的原理，这2天通过查阅资料终于明白了相关知识，在此一L1正则化来分享一下相关原理。

二、相关概念

2.1、范数

范数是数学中的一个概念，用于衡量向量的“大小”或者说是长度。在线性代数和相关的数学领域中，范数是定义在向量空间上的一个函数，它将每一个向量映射到非负实数，满足一定的性质，使得这个函数可以被视为该向量空间中的“长度”或“大小”。

范数的常见性质包括：

• 非负性：对于任意向量x，其范数∥x∥总是大于或等于0，且当且仅当x是零向量时∥x∥=0；