深度学习 BN 、LeakyReLU算法原理

shuyeah

已于 2024-04-08 21:28:52 修改

阅读量8.4k

点赞数 29

CC 4.0 BY-SA版权

文章标签：神经网络算法 python

于 2020-05-18 23:52:27 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43227526/article/details/106173601

本文详细介绍了深度学习中BN（批量归一化）算法的产生背景、实现方式及其在网络训练中的作用，同时探讨了Leaky ReLU作为ReLU的改进版，如何解决ReLU的神经元死亡问题。BN通过加速训练、改善模型稳定性，而Leaky ReLU旨在缓解ReLU的梯度消失问题，提高模型表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BN和LeakyReLU

def DarknetConv2D_BN_Leaky(*args, **kwargs):
    # 归一化
    # DarkNet中用到的卷积块，卷积块中包含了归一化和激活函数
    """Darknet Convolution2D followed by BatchNormalization and LeakyReLU."""
    no_bias_kwargs = {
   
   'use_bias': False}
    no_bias_kwargs.update(kwargs)
    return compose(
        DarknetConv2D(*args, **no_bias_kwargs),
        BatchNormalization(),
        LeakyReLU(alpha=0.1))