Highway network

最新推荐文章于 2021-11-03 14:18:01 发布

原创最新推荐文章于 2021-11-03 14:18:01 发布 · 3.9k 阅读

1 ·

CC 4.0 BY-SA版权

Python编程问题同时被 2 个专栏收录

13 篇文章

订阅专栏

自然语言处理

5 篇文章

订阅专栏

本文介绍了Highway Network的主要目的——解决深层网络中梯度消失的问题，通过引入变换门和携带门来确保梯度的有效传播，从而改善深层网络的训练效果。文章还提供了Highway Network的具体实现代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Highway Network主要解决的问题是，网络深度加深，梯度信息回流受阻造成网络训练困难的问题。

假设定义一个非线性变换为，定义门函数，携带函数。对于门函数取极端的情况0/1会有，而对应的门函数使用sigmoid函数，则极端的情况不会出现。

一个网络的输出最终变为。

具体的代码实现为：

def highway(input_, size, num_layers=1, bias=-2.0, f=tf.nn.relu, scope='Highway'):
    """Highway Network (cf. http://arxiv.org/abs/1505.00387).
    t = sigmoid(Wy + b)
    z = t * g(Wy + b) + (1 - t) * y
    where g is nonlinearity, t is transform gate, and (1 - t) is carry gate.
    """

    with tf.variable_scope(scope):
        for idx in range(num_layers):
            g = f(linear(input_, size, scope='highway_lin_%d' % idx))

            t = tf.sigmoid(linear(input_, size, scope='highway_gate_%d' % idx) + bias)

            output = t * g + (1. - t) * input_
            input_ = output

    return output