Pytorch神经网络工具箱

 神经网络核心组件

• 层:神经网络的基本结构，将输入张量转换为输出张量。
• 模型:层构成的网络
• 损失函数:参数学习的目标函数，通过最小化损失函数来学习各种参数
• 优化器:如何使损失函数最小，这就涉及到优化器。

 构建神经网络的主要工具

nn.Module

• 继承自Module类，可自动提取可学习的参数。
• 适用于卷积层、全连接层、dropout层。

nn.functional

• 更像是纯函数。
• 适用于激活函数、池化层。

构建神经网络的主要工具-nn.Module

•    nn.Module，写法一般为nn.Xxx，如
• nn.Linear
• nn.Conv2d
• nn.CrossEntropyLoss

构建神经网络的主要工具-nn.functional

• nn.functional中的函数，写法一般为nn.funtional.xxx，如
• nn.funtional.linear
• nn.funtional.conv2d
• nn.funtional.cross_entropy

两者区别

• nn.Xxx继承于nn.Module，nn.Xxx 需要先实例化并传入参数，然后以函数调用的方式调用实例化的对象并传入输入数据。它能够很好的与nn.Sequential结合使用，而nn.functional.xxx无法与nn.Sequential结合使用。
• nn.Xxx不需要自己定义和管理weight、bias参数；而nn.functional.xxx需要你自己定义weight、bias，每次调用的时候都需要手动传入weight、bias等参数, 不利于代码复用。
• dropout操作在训练和测试阶段是有区别的，使用nn.Xxx方式定义dropout，在调用model.eval()之后，自动实现状态的转换，而使用nn.functional.xxx却无此功能。