20、深度学习中的层抽象与优化

深度学习中的层抽象与优化

1. 层抽象的引入

在之前构建的简单神经网络中，我们堆叠了两层神经元，每层都计算 sigmoid(dot(weights, inputs)) 。但在实际应用中，我们希望有更多的灵活性，例如让神经元记住之前的输入、使用不同的激活函数，以及使用更多的层。

为了实现这些多样化的神经网络，我们引入了 Layer 抽象。 Layer 知道如何对输入应用某些函数，并能进行梯度的反向传播。以下是 Layer 类的定义：

from typing import Iterable, Tuple

class Layer:
    """
    我们的神经网络将由多个Layer组成，每个Layer知道如何在“前向”方向对其输入进行计算，并在“反向”方向传播梯度。
    """
    def forward(self, input):
        """
        注意这里没有指定类型。我们不会规定层可以接受什么样的输入以及可以返回什么样的输出。
        """
        raise NotImplementedError

    def backward(self, gradient):
        """
        同样，我们不会规定梯度的样子。用户需要确保操作的合理性。
        """
        raise NotImplementedError

    def params(self) -> Iterable[Tensor]: