PyTorch训练模型添加L1/L2正则化的两种实现方式

L1/L2正则化的作用

L1正则化作用到参数会产生更稀疏的解，既能使参数在训练过程中尽量靠近最优解的同时，一些参数为0。L1正则化的稀疏性质被广泛应用于特征选择，可从特征集合中选出具有代表的特征子集，以此简化机器学习问题。L1正则化的表达式如下：
f ( θ ) = ∣ ∣ θ ∣ ∣ 1 = ∑ i ∣ θ i ∣ f(\theta) = || \theta ||_{1} = \sum_{i} | \theta_{i} | f(θ)=∣∣θ∣∣1​=i∑​∣θ