佚失的诗篇

本文介绍梯度累加技巧及其pytorch实现。该技巧通过延迟参数更新时机，允许模型在显存容量有限时使用更大的等效batch size进行训练

本文介绍如何使用 DDP 和混合精度训练方法来高效地训练一个 MinGPT 模型

本文介绍如何使用 torchrun 框架改写 DDP 单机多卡并行代码，增强容错性和稳定性

本文介绍多卡并行原理，并用一个简单的例子演示 Pytorch 中的 DDP 多卡并行代码写法

本文计算控制 Pytorch 中梯度计算的集中方法，包括设置 tensor.requires_grad 字段以及三种梯度计算模式，还会介绍容易与之混淆的模型评估模式

本文介绍 Pytorch 中 TensorBoard 的用法

minGPT 是 GPT 模型的一个开源实现，因简洁干净解释性强而颇具教育意义。本文对该开源库实现的 GPT 代码进行详解，并给出一个使用它训练 GPT 模型计算两位数加法的例子

感知机原理分析及 pytorch 代码实现

多层感知机原理分析及 pytorch 实现

softmax 回归是一种经典的分类算法，本文详细介绍其原理并给出 pytorch 实现代码

线性回归原理分析与 Pytorch 代码

介绍在 pytorch 中使用 GPU 进行计算的方法

结合代码介绍 pytorch 中 tensor 和 Module 示例的本地存储和加载方法

结合代码说明 pytorch 中模型构造、参数访问及初始化、自定义网络层的方法

参考：《动手学深度学习（PyTorch版）》—— 李沐注意：由于本文是jupyter文档转换来的，代码不一定可以直接运行，有些注释是jupyter给出的交互结果，而非运行结果!!文章目录1. 基础概念2. Tensor3. 梯度3.1 示例3.2 向量求导3.3 中断梯度追踪3.4 在不影响反向传播的情况下修改Tensor的值深度学习中经常需要对函数求梯度（gradient）。PyTorch提供的 autograd 包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。下面介绍如何使用 .

参考：《深度学习框架PyTorch入门与实践》—— 陈云《动手学深度学习（PyTorch版）》—— 李沐注意：由于本文是jupyter文档转换来的，代码不一定可以直接运行，有些注释是jupyter给出的交互结果，而非运行结果!!文章目录1. 创建 Tensor2. 操作2.1 算数操作2.2 索引改变形状线性代数广播机制运算的内存开销Tensor 和 ndarray 的相互转换Tensor on GPUPyTorch中，张量torch.Tensor 是存储和变换数据的主要工具Ten.

本文介绍在 pytorch 中加载和使用图像分类数据集 Fashion-MNIST 的方法