20、神经网络中的权重可视化与激活函数应用

神经网络中的权重可视化与激活函数应用

1. 权重可视化

在数据准备阶段，我们会将5x5的图像输入展平为长度为25的张量。此时，有一个有趣的想法：如果我们取另一个包含25个元素的张量，并尝试将其可视化为图像会怎样呢？

隐藏层#0中每个单元使用的权重就是很好的候选对象。每个单元接收25个特征的值，因此使用25个权重。我们已经将这些权重存储在一个变量中：

w_nn_hidden0.shape

输出：

torch.Size([5, 25])

这里有5个单元，每个单元有25个权重。我们只需使用 view() 方法将表示权重的25元素长的张量重塑为二维张量（5x5），就可以将它们可视化为图像。

在卷积神经网络（CNNs）中，将权重可视化为图像是很常见的操作，这些图像被称为滤波器。训练良好的模型，其滤波器可能会展现出更易识别的特征。由于我们的模型训练效果不佳，所以可视化的图像信息可能不太丰富。并且，这里的权重与输入图像大小相同，严格来说不算真正的“滤波器”，在基于CNN的模型中，真正的滤波器通常只覆盖图像的一部分。

2. 激活函数

激活函数是非线性函数，它们可以压缩或弯曲直线，打破深度模型和浅层模型之间的等价性。下面介绍几种常见的激活函数：
- Sigmoid函数 ：这是最传统的激活函数之一，过去在神经网络中随处可见，现在主要用于将对数几率转换为概率。它将输入值 z </