本文介绍了深度学习中提高模型性能的两种关键技巧：正则化和权重初始化。详细讲解了L1和L2正则化的概念及其在模型中的应用，以及dropout技术的工作原理。同时，探讨了权重初始化的重要性，特别是针对ReLU和tanh激活函数的Xavier和He初始化方法。这些策略有助于避免过拟合，提高训练速度，并优化模型的泛化能力。
1.正则化方法
1.1 几种常用的正则化方法
L1正则化：
L2正则化：
From:
(1)J=−1m∑i=1m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} \tag{1}J=−m1i=1∑m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))(1)
To:
(2)Jregularized=−1m∑i=1m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)))⎵cross-entropy cost+1mλ2∑l∑k∑
最低0.47元/天 解锁文章
扫一扫
440
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
