9、深度学习中的PyTorch入门与实践

深度学习中的PyTorch入门与实践

1. 经验风险最小化与梯度更新

经验风险最小化是整个数据集上梯度更新的理论动机。它与之前介绍的梯度更新的唯一细微差别在于因子 $\frac{1}{n}$，这个常数可以并入学习率。其公式可扩展为：
$\frac{1}{n} \sum_{i = 1}^{n} \nabla_{\theta}L(f(x_i; \theta), y_i) = E_{p_D(x,y)} \nabla_{\theta}L(f(x; \theta), y)$

我们可以使用几乎相同的逻辑，用经验风险来近似总体风险，即通过采样来近似经验分布的期望。由于在无限样本的极限情况下可以得到经验分布，所以这种近似是无偏的。样本数量是一个超参数，使用单个样本的方法通常称为随机梯度下降（SGD），使用相对少量样本的方法通常称为小批量梯度下降。

2. PyTorch简介

PyTorch是当今最流行的深度学习框架之一，由Facebook的AI研究实验室于2016年推出。它迅速在工业界和学术界获得了大量用户，主要原因是其直观的Python风格，能够自然地融入深度学习从业者现有的工作流程和编码范式。

2.1 安装PyTorch

安装与CPU兼容的PyTorch版本相对简单，推荐使用conda包管理系统。以下是不同系统的安装步骤：
1. 创建深度学习环境 ：在conda中创建一个用于深度学习的环境，具体操作可参考conda文档。
2. 安装PyTorch ：
- macOS系统 ：在