【NLP】GRU基本结构原理，代码实现

LSTM变种GRU

GRU是LSTM改进的门控循环神经网络，将输入门，遗忘门，输出门变成更新门和重置门。

将细胞状态和隐藏状态合并，只有当前时刻候选状态和当前时刻隐藏状态。

【NLP】LSTM结构，原理，代码实现，序列池化-优快云博客

模型结构

内部结构

相较于LSTM，GRU的结构更加简洁，参数更少，计算效率更高

可以类比LSTM理解GRU，同样都是门控机制

重置门

决定了保留多上一个时间步的信息和当前的信息合并输入

候选门

最终隐藏状态

代码实现

原生代码实现

import numpy as np

class GRU():
    def __init__(self,input_size,hidden_size):
        self.input_size = input_size
        self.hidden_size = hidden_size

        # 初始化权重参数
        # 跟新门
        self.W_z = np.random.randn(hidden_size,hidden_size+input_size)
        self.b_z = np.zeros(hidden_size)

        # 重置门
        self.W_r = np.random.randn(hidden_size,hidden_size+input_size)
        self.b_r = np.zeros(hidden_size)

        # 候选隐藏状态
        self.W_h