23、循环神经网络：从基础到莎士比亚风格文本生成

循环神经网络：从基础到莎士比亚风格文本生成

1. 循环神经网络层的构建

通过组合多个层，我们可以对时间序列进行学习。接下来，我们将创建一个由多个较小层类型组成的循环层，以完成之前章节的任务。

1.1 RNNCell类的实现

class RNNCell(Layer):

    def __init__(self, n_inputs,n_hidden,n_output,activation='sigmoid'):
        super().__init__()
        self.n_inputs = n_inputs
        self.n_hidden = n_hidden
        self.n_output = n_output

        if(activation == 'sigmoid'):
            self.activation = Sigmoid()
        elif(activation == 'tanh'):
            self.activation == Tanh()
        else:
            raise Exception("Non-linearity not found")
        self.w_ih = Linear(n_inputs, n_hidden)
        self.w_hh = Linear(n_hidden, n_hidden)
        self.w_ho = Linear(n_hidden, n_output)

        self.parameter