23、循环神经网络与莎士比亚文本生成

循环神经网络与莎士比亚文本生成

1. 循环神经网络层构建

循环神经网络（RNN）可以通过组合多个层来学习时间序列数据。下面我们构建一个循环层（RNNCell），它由三个线性层组成，用于学习之前完成的任务。

class RNNCell(Layer):

    def __init__(self, n_inputs,n_hidden,n_output,activation='sigmoid'):
        super().__init__()
        self.n_inputs = n_inputs
        self.n_hidden = n_hidden
        self.n_output = n_output

        if(activation == 'sigmoid'):
            self.activation = Sigmoid()
        elif(activation == 'tanh'):
            self.activation == Tanh()
        else:
            raise Exception("Non-linearity not found")
        self.w_ih = Linear(n_inputs, n_hidden)
        self.w_hh = Linear(n_hidden, n_hidden)
        self.w_ho = Linear(n_hidden, n_output)

        self.parameters += self.w_ih.get_pa