本教程展示了如何进行训练后静态量化，并介绍了另外两种更高级的技术——每通道量化和量化感知训练——以进一步提高模型的准确性。请注意，目前量化仅支持CPU，因此在本教程中我们不会使用GPU / CUDA。到本教程结束时，您将看到如何使用PyTorch中的量化实现模型大小的显著减少，同时提高速度。此外，您还将看到如何轻松应用一些高级量化技术，从而使得量化后的模型在准确性上损失更小。警告：我们使用了来自其他PyTorch仓库的很多样板代码，例如定义MobileNetV2模型架构、定义数据加载器等。

在这一部分，你将使用“冻结”的量化特征提取器，并在其上训练一个自定义的分类器头。与浮动点模型不同，你不需要为量化模型设置，因为它没有可训练的参数。有关更多详细信息，请参考文档。加载一个预训练模型：对于本次练习，你将使用ResNet-18模型。# 你将需要在`fc`层中的过滤器数量，以便将来使用。# 这里将每个输出样本的大小设置为2（假设只有2个类别）。# 或者，你可以将其推广为nn.Linear(num_ftrs, len(class_names))。

为了实现自己的剪枝函数，你可以通过继承模块中的基类来扩展。所有其他剪枝方法都是通过这种方式实现的。__call__apply_maskapplyprune和remove。除了某些特殊情况，你不需要重新实现这些方法来创建新的剪枝技术。然而，你需要实现__init__（构造函数）和（根据你的剪枝技术的逻辑计算掩码的指令）。此外，你还需要指定该剪枝技术实现了哪种类型的剪枝（支持的选项是globalstructured和这对于在剪枝是迭代进行时，如何合并掩码是必须的。

在这里，我们定义LSTM模型的架构，参考了词语言模型示例中的模型。"""包含编码器、循环神经网络模块和解码器的容器模块。"""super(LSTMModel, self).__init__() # 调用父类构造函数self.drop = nn.Dropout(dropout) # Dropout层，防止过拟合self.encoder = nn.Embedding(ntoken, ninp) # 嵌入层，将词汇表大小映射到词向量空间。

参数化可以解决上述所有问题以及其他一些问题。让我们使用重新实现上述代码。我们只需要将参数化写成一个普通的nn.Module这就是我们需要做的全部工作。输出assert torch.allclose(A, A.T) # A 是对称的print(A) # 快速视觉检查输出我们可以对任何其他层做同样的事情。例如，我们可以创建一个具有斜对称核的卷积神经网络（CNN）。我们使用类似的参数化，将上三角部分的符号反转后复制到下三角部分。输出。

在本教程中，我们将对BERT模型应用动态量化，紧密跟随HuggingFace Transformers示例中的BERT模型。通过这个一步步的过程，我们将展示如何将一个著名的最先进模型，如BERT，转换为动态量化模型。BERT（双向编码表示的Transformer）是一种新的预训练语言表示方法，它在许多流行的自然语言处理（NLP）任务上实现了最先进的准确度结果，如问答、文本分类等。原始论文可以在此找到。

自2012年深度学习兴起以来，卷积神经网络（CNNs）一直是图像分类的主要模型，但CNNs通常需要数亿张图像进行训练才能达到SOTA结果。DeiT是一种视觉Transformer模型，它在训练时需要的数据和计算资源要少得多，却能在图像分类任务中与领先的CNNs竞争。数据增强，模拟在更大数据集上的训练；原生蒸馏，允许Transformer网络从CNN的输出中学习。DeiT表明，Transformer可以在数据和资源有限的情况下成功应用于计算机视觉任务。有关DeiT的更多详细信息，请参阅其代码库和论文。

超参数调优可以在普通模型和高精度模型之间产生显著差异。通常，简单的操作（如选择不同的学习率或更改网络层大小）可能会对模型性能产生巨大影响。幸运的是，有一些工具可以帮助找到最佳参数组合。Ray Tune 是一个行业标准的分布式超参数调优工具。Ray Tune 包含最新的超参数搜索算法，与各种分析库集成，并通过 Ray 的分布式机器学习引擎原生支持分布式训练。在本教程中，我们将向您展示如何将 Ray Tune 集成到您的 PyTorch 训练工作流中。我们将基于 PyTorch 文档中训练 CIFAR10 图像

PyTorch 1.8包含了一个更新的Profiler API，能够记录CPU端的操作以及GPU端的CUDA内核启动。Profiler可以在TensorBoard插件中可视化这些信息，并提供性能瓶颈的分析。在本教程中，我们将使用一个简单的Resnet模型来演示如何使用TensorBoard插件分析模型性能。

向 PyTorch 添加新后端需要后端扩展开发者进行大量的开发和维护工作。如果您有现有 PyTorch 操作符的新算法，可以向 PyTorch 提交 PR。如果您想提出一个新的操作符，可以向 PyTorch 提交功能请求或 PR。如果您想为新的设备/硬件（如 Google TPU 或定制芯片）添加支持，通常需要使用硬件特定的 API 来编写内核，请按照本教程操作，并向 PyTorch 添加一个树外（out-of-tree）后端。

我们还可以在 C++ 进程中使用 libtorch 使用自定义注册的 C++ 类。作为示例，让我们定义一个简单的nn.Module，该模块实例化并调用我们之前创建的现在，foo.pt文件已包含我们刚刚定义的 TorchScript 程序。接下来，我们将定义一个新的 CMake 项目，展示如何加载该模型及其所需的.so文件。关于如何做到这一点的详细信息，请参见《在 C++ 中加载 TorchScript 模型教程》。

在本教程中，我们将把 OpenCV 中的函数（该函数对图像应用透视变换）作为自定义操作符暴露给 TorchScript。第一步是在 C++ 中编写自定义操作符的实现。我们将此实现文件命名为op.cppfloat());float());float这个操作符的代码非常简短。在文件的顶部，我们包含了 OpenCV 的头文件，以及头文件，后者暴露了 PyTorch C++ API 中我们编写自定义 TorchScript 操作符所需的所有必要功能。我们的函数。

从 PyTorch 2.4 开始，本教程已被废弃。请参考 PyTorch 自定义操作符，了解关于通过自定义 C++/CUDA 扩展扩展 PyTorch 的最新指南。PyTorch 提供了大量与神经网络、任意张量代数、数据处理等相关的操作。然而，您可能仍然会发现自己需要一个更自定义的操作。例如，您可能想要使用论文中找到的一个新颖激活函数，或者实现您在研究中开发的一个操作。将此类自定义操作集成到 PyTorch 中的最简单方法是通过扩展Function和Module。

将相邻的卷积层和批归一化层融合在一起通常是一个推理时优化，目的是提高运行时效率。通常通过完全去除批归一化层，并更新前一个卷积层的权重和偏置来实现[0]。然而，这种技术不适用于训练模型。在本教程中，我们将展示一种不同的技术，融合这两个层，在训练过程中也可以应用。这个优化的目标不是提高运行时，而是减少内存使用。这个优化的思想是，卷积和批归一化（以及许多其他操作）在前向传播时都需要保存它们输入的副本，以便在反向传播时使用。

首先，我们编写一个C++函数来计算mymuladdfloat();float();float();i++) {为了在PyTorch的Python前端中使用这个函数，我们需要使用API将其注册为PyTorch操作符。这将自动将该操作符绑定到Python。定义操作符- 这一步确保PyTorch知道新的操作符。注册后端实现- 在这一步中，将各种后端的实现（如CPU和CUDA）与操作符关联起来。选择操作符的命名空间。我们建议命名空间使用顶级项目的名称；

PyTorch 提供了一个庞大的运算符库，这些运算符可以对张量进行操作（例如 torch.add、torch.sum 等）。然而，您可能希望向 PyTorch 引入一个新的自定义操作，并使其能够与诸如 torch.compile、autograd 和 torch.vmap 等子系统协同工作。为此，您必须通过 Python 的 torch.library 文档或 C++ 的 TORCH_LIBRARY API 将自定义操作注册到 PyTorch 中。请参阅 自定义 Python 运算符。如果您有以下需求，您可

将一个新的基本操作添加到需要为每个操作实现一个新的子类。是用来计算结果和梯度，并编码操作历史的工具。forward和backward，详细要求请参见此链接。下面是来自torch::nn的一个Linearpublic:然后，我们可以通过以下方式使用输出public:然后，我们可以通过以下方式使用输出5.50005.5000。

TorchScript 已不再处于积极开发阶段。在本教程中，我们介绍了在 TorchScript 中进行动态并行的语法。

现在我们的基本环境已经配置好，我们可以深入本教程中更有趣的部分。首先，我们将讨论如何在C++前端中定义和与模块交互。我们将从基本的小规模示例模块开始，然后使用C++前端提供的丰富内置模块库实现一个完整的GAN。就像在Python中一样，我们定义了一个名为Net的类（为了简化，这里使用了struct而不是class），并从模块基类派生。在构造函数中，我们使用创建张量，就像在Python中使用一样。一个有趣的区别是我们如何注册参数。在Python中，我们使用类来包装张量，而在C++中，我们必须通过。

每个样本的梯度计算是针对数据批次中的每个样本分别计算其梯度。这个量在 差分隐私（Differential Privacy）、元学习（Meta-learning） 和 优化研究（Optimization Research）中非常有用。本教程需要PyTorch 2.0.0 或更高版本。让我们生成一批虚拟数据，并假设我们正在使用 MNIST 数据集。虚拟图像的大小为 28×28，我们使用一个大小为 64 的小批量数据。在常规的模型训练中，我们会将小批量数据传递给模型进行前向传播，然后调用计算梯度。

本教程演示了如何使用torch.vmap对模型集成进行向量化。什么是模型集成？模型集成将多个模型的预测结果结合起来。传统上，集成方法是分别运行每个模型并将它们的预测结果结合在一起。然而，如果你运行的是相同架构的模型，那么可以使用torch.vmap将它们结合起来。vmap是一种函数转换方法，可以将函数映射到输入张量的各个维度上。它的一个应用场景是消除 for 循环并通过向量化加速运算。让我们通过一个简单的 MLP 集成来演示如何实现这一点。本教程需要 PyTorch 2.0.0 或更高版本。

计算雅可比矩阵或海森矩阵在许多非传统深度学习模型中是非常有用的。使用 PyTorch 的常规自动微分 API（Tensor.backward()，torch.autograd.grad）计算这些量是困难的（或者很麻烦）。PyTorch 的受 JAX 启发的函数变换 API 提供了高效计算各种高阶自动微分量的方法。本教程需要 PyTorch 2.0.0 或更高版本。让我们添加一些虚拟数据：一个权重，一个偏置，以及一个特征向量 x。让我们把predict想成一个将输入x从RD→RD的函数。

自定义函数也支持前向模式自动微分（AD）。要创建支持前向模式 AD 的自定义函数，需要注册jvp()静态方法。对于自定义函数来说，支持前向和反向 AD 都是可能的，但并非必须。有关更多信息，请参阅文档。return gO输出True。

内存格式是另一种排列 NCHW 张量的方式，同时保留了维度的顺序。张量的排列方式使得通道成为最密集的维度（即逐像素存储图像）。内存格式以不同的方式排列数据：PyTorch 通过利用现有的步幅结构支持内存格式（并提供与现有模型的向后兼容性，包括急切执行模式（eager）、JIT 和 TorchScript）。例如，10x3x16x16 批量数据在格式下的步幅为 (768, 1, 48, 3)。内存格式仅对 4D NCHW 张量实现。

为了演示，我们将使用 torchvision 的 ResNet18 模型。输出现在我们有了模型，接下来我们想深入检查它的性能。也就是说，对于以下调用，模型的哪些部分花费的时间最长？回答这个问题的常见方法是遍历程序源代码，在程序中的不同点添加收集时间戳的代码，并比较这些时间戳之间的差异，以查看不同时间段的执行时间。这个技术当然适用于 PyTorch 代码，但如果我们不需要复制并编辑模型代码，尤其是我们没有编写的代码（如这个 torchvision 模型），那会更好。

请注意，此优化仅适用于推理模式下的模型（即在本教程中，我们将创建一个包含卷积层和批归一化层的模型。需要注意的是，该模型包含一些复杂组件——某些卷积/批归一化模式被嵌套在Sequential中，并且其中一个BatchNorm层被包装在另一个Module中。

类提供了多个函数来比较追踪数据之间的差异，并可视化这些差异。用户可以找出在每个组中新增或删除的操作符和内核，同时分析每个操作符/内核的出现频率及其累计执行时间。在某些情况下，用户需要识别由于代码更改导致的 PyTorch 操作符和 CUDA 内核的变化。为支持这一需求，HTA 提供了。方法的输出来可视化 CPU 操作符和 GPU 内核在频率及执行时间上的变化。文件夹内的 trace_diff_demo。有关此功能的详细示例，请参阅存储库中。例如，可以通过以下代码计算。，类似于 A/B 测试。

在本教程中，我们演示如何使用来分析分布式训练作业的追踪数据。请按照以下步骤开始使用。

PyTorch 包含一个，它对于识别代码中各种 PyTorch 操作的时间和内存消耗非常有用。Profiler 可以轻松地集成到您的代码中，并且结果可以作为表格打印出来，或者以 JSON 跟踪文件的形式返回。Profiler 支持多线程模型。Profiler 在与操作相同的线程中运行，但它也会分析可能在另一个线程中运行的子操作。并发运行的 profiler 会被限定在各自的线程中，以防止结果混合。PyTorch 1.8 引入了新的 API，未来版本中将替代旧的 Profiler API。

PyTorch 原生支持 Raspberry Pi 4。本教程将指导您如何设置 Raspberry Pi 4 以运行 PyTorch，并在 CPU上以 30 FPS 以上的速度实时运行 MobileNet v2 分类模型。该教程在 Raspberry Pi 4 Model B 4GB 上进行了测试，但也应适用于2GB 版本，以及 Raspberry Pi 3B，不过性能会有所降低。

截至 PyTorch 2.1，ONNX 导出器有两个版本。是最新的（仍处于测试阶段）导出器，基于 PyTorch 2.0 发布的 TorchDynamo 技术。基于 TorchScript 后端，自 PyTorch 1.2.0 以来一直可用。在本教程中，我们将介绍如何使用 TorchScript 的ONNX 导出器，将 PyTorch 中定义的模型转换为 ONNX 格式。导出的模型将通过 ONNX Runtime 执行。

TorchScript 现已停止积极开发。正如其名称所示，PyTorch 的主要接口是 Python 编程语言。虽然 Python 是一种适合且被广泛使用的语言，特别是在需要动态性和快速迭代的场景中，但在许多情况下，Python 的这些特性却可能成为不利因素。一个典型的例子是生产环境——对低延迟和严格部署要求有极高要求的领域。在生产场景中，C++ 通常是首选语言，即使只是为了将其绑定到另一种语言（如 Java、Rust 或 Go）。

TorchScript 已不再处于积极开发阶段。本教程是对 TorchScript 的介绍，TorchScript 是 PyTorch 模型（nn.Module 的子类）的一种中间表示形式，可以在高性能环境（如 C++）中运行。我们希望您在完成本教程后，继续学习后续教程，该教程将通过一个实际示例，向您展示如何从 C++ 调用 TorchScript 模型。输出。

我们首先定义 API 端点、请求和响应类型。我们的 API 端点将位于/predict，接受包含图像的 HTTP POST 请求，文件参数为file。

在这个例子中，我们将使用奖励作为可微分的目标来训练一个简单的策略，类似于负损失。我们将利用我们的动态系统是完全可微分的这一特点，通过反向传播调整策略的权重，以直接最大化这个值。当然，在许多设置下，我们所做的许多假设并不成立，例如可微分系统和完全访问底层机制。尽管如此，这是一个非常简单的示例，展示了如何使用 TorchRL 编写一个训练循环并应用自定义环境。

TorchRL 的变换可能无法覆盖所有在环境执行后希望执行的操作。编写一个变换并不需要太多的工作。确保动态学正确（前向和反向）；适配环境规格。变换可以在两种环境中使用：作为单独的模块使用，也可以附加到中。该类的结构允许在不同的上下文中定制行为。..................有三个入口点（forward()_step()和inv()），它们都接收实例。前两个方法最终会遍历由in_keys指定的键，并对每个键调用。结果会写入由指定的条目中（如果没有提供out_keys，则。

创建一个环境（一个模拟器或物理控制系统的接口）是强化学习和控制工程的一个重要组成部分。TorchRL提供了一套工具，可以在多种上下文中实现这一点。本教程演示了如何使用PyTorch和TorchRL从头开始编写一个摆锤模拟器。它灵感来源于OpenAI-Gym/Farama-Gymnasium控制库中的Pendulum-v1实现。简单摆锤主要学习内容：如何在TorchRL中设计环境：编写规格（输入、观察和奖励）；实现行为：设置种子、重置和执行步骤。转换环境的输入和输出，并编写自己的转换；

环境 (Environment)：智能体与之交互并从中学习的世界。动作 (Action)aaa：智能体对环境的响应。所有可能动作的集合称为动作空间 (action-space)。状态 (State)sss：环境的当前特征。环境可能处于的所有状态的集合称为状态空间 (state-space)。奖励 (Reward)rrr：环境给予智能体的关键反馈。奖励驱动智能体学习，并改变其未来的动作。多个时间步的奖励的聚合称为回报 (Return)。最优动作价值函数Q∗saQ∗sa：给出在状态。

我们为算法设置超参数。根据可用资源的不同，可以选择在 GPU 或其他设备上执行策略。frame_skip将控制单个动作执行多少帧。其余计算帧数的参数必须根据这个值进行修正（因为一个环境步骤实际上会返回frame_skip帧）。device = (lr = 3e-4在强化学习中，环境通常是指我们所使用的模拟器或控制系统。各种库提供了强化学习的模拟环境，包括 Gymnasium（之前是 OpenAI Gym）、DeepMind 控制套件等。

在这种情况下，用户创建了一个包含标准 PyTorch 运算符的模型，但 ONNX 运行时（例如 Microsoft 的 ONNX Runtime）可以为该内核提供自定义实现，从而有效地替换 ONNX 注册表中的现有实现。另一个用例是，用户希望使用现有 ONNX 运算符的自定义实现来修复错误或提高特定运算符的性能。为此，我们只需要使用现有的 ATen 完全限定名称注册新的实现。在以下示例中，我们使用了来自 ONNX Runtime 的，它与 ONNX 规范中的 Gelu 不同。