36、深度学习与PyTorch：从基础到实践

深度学习与PyTorch：从基础到实践

1. 深度学习基础与简单神经网络实现

在深度学习中，深度神经网络是核心。它通过堆叠多个层，将输入向量经过非线性激活函数处理，且不改变向量的维度。我们可以使用梯度下降法对神经网络的权重矩阵（即参数）进行训练。

下面是一个用Numpy实现的简单2层神经网络示例：

import numpy as np

def nn(x,w1,w2):
    l1 = x @ w1          
    l1 = np.maximum(0,l1)      
    l2 = l1 @ w2
    l2 = np.maximum(0,l2)
    return l2

w1 = np.random.randn(784,200)       
w2 = np.random.randn(200,10)
x = np.random.randn(784)     
nn(x,w1,w2)

这个神经网络的工作流程如下：
1. 输入向量 x 与权重矩阵 w1 进行矩阵乘法，得到第一层的输出 l1 。
2. 对 l1 应用ReLU激活函数（这里用 np.maximum(0, l1) 实现）。
3. 第一层的输出 l1 与权重矩阵 w2 进行矩阵乘法，得到第二层的输出 l2 。
4. 对