原型参数定义y={x,if x>thresholdvalue,otherwisey = \begin{cases} x, & \text{if } x > \text{threshold} \\ \text{value}, & \text{otherwise}\end{cases}y={x,value,​if x>thresholdotherwise​代码【参考】Threshold — PyTorch 1.13 documentation

原型定义Tanhshrink(x)=x−tanh(x)\text{Tanhshrink}(x)=x- \text{tanh}(x)Tanhshrink(x)=x−tanh(x)图代码【参考】Tanhshrink — PyTorch 1.13 documentation

原型定义Tanh(x)=tanh(x)=exp⁡(x)−exp⁡(−x)exp⁡(x)+exp⁡(−x)\text{Tanh}(x)=tanh(x)=\frac{\exp(x)-\exp(-x)}{\exp(x)+\exp(-x)}Tanh(x)=tanh(x)=exp(x)+exp(−x)exp(x)−exp(−x)​图代码【参考】Tanh — PyTorch 1.13 documentation

原型定义SoftSign(x)=x1+∣x∣\text{SoftSign}(x)=\frac{x}{1+|x|}SoftSign(x)=1+∣x∣x​图代码【参考】Softsign — PyTorch 1.13 documentation

原型参数定义SoftShrinkage(x)={x−λ,if x>λx+λ,if x \lambda \\ x+\lambda, & \text{if } x < -\lambda \\ 0, & \text{otherwise}\end{cases}SoftShrinkage(x)=⎩⎨⎧​x−λ,x+λ,0,​if

原型参数定义Softplus(x)=1β∗log⁡(1+exp⁡(β∗x))\text{Softplus}(x)=\frac{1}{\beta}*\log(1+\exp(\beta* x))Softplus(x)=β1​∗log(1+exp(β∗x))图代码【参考】Softplus — PyTorch 1.13 documentation

原型定义Mish(x)=x∗Tanh(Softplus(x))\text{Mish}(x)=x∗ \text{Tanh}(\text{Softplus}(x))Mish(x)=x∗Tanh(Softplus(x))图代码【参考】Mish — PyTorch 1.13 documentation

原型定义silu(x)=x∗σ(x),where σ(x) is logistic sigmoidsilu(x)=x*\sigma(x), \text{where } \sigma(x) \text{ is logistic sigmoid}silu(x)=x∗σ(x),where σ(x) is logistic sigmoid图代码【参考】SiLU — PyTorch 2.0 documentation

原型定义Applies the element-wise function:Sigmoid(x)=σ(x)=11+exp⁡(−x)Sigmoid(x)=\sigma(x)=\frac{1}{1+\exp(-x)}Sigmoid(x)=σ(x)=1+exp(−x)1​图代码【参考】Sigmoid — PyTorch 2.0 documentation

高斯误差线性单元函数。

原型参数定义CELU(x)=max⁡⁡(0,x)+min⁡⁡(0,α∗(exp⁡⁡(x/α)−1))\text{CELU}(x)=\max⁡(0,x)+\min⁡(0, \alpha∗(\exp⁡(x/\alpha)−1))CELU(x)=max⁡(0,x)+min⁡(0,α∗(exp⁡(x/α)−1))图代码【参考】CELU — PyTorch 1.13 documentation

原型参数定义Applied element-wise, as:SELU(x)=scale∗(max⁡⁡(0,x)+min⁡⁡(0,α∗(exp⁡⁡(x)−1)))\text{SELU}(x)=scale∗(\max⁡(0,x)+\min⁡(0, \alpha∗(\exp⁡(x)−1)))SELU(x)=scale∗(max⁡(0,x)+min⁡(0,α∗(exp⁡(x)−1)))图代码【参考】SELU — PyTorch 1.13 documentation

1/81/3RReLUxxax​ifx≥0otherwise​其中a是从μlowerupper随机均匀采样获得。

原型参数定义ReLU6(x)=min⁡(max⁡(0,x),6)\text{ReLU6}(x)=\min(\max(0, x), 6)ReLU6(x)=min(max(0,x),6)图代码【参考】ReLU6 — PyTorch 1.13 documentation

([bool]) – 内部运算，默认为FalseReLUxxmax0x。

原型参数定义PReLU(x)=max⁡(0,x)+a∗min⁡(0,x)\text{PReLU}(x)= \max(0, x) + a * \min(0, x)PReLU(x)=max(0,x)+a∗min(0,x)orPReLU(x)={x,ifx≥0ax,otherwise\text{PReLU}(x) = \begin{cases} x, & \text{if} x \geq 0 \\ ax, & \text{otherwise} \end{cases}PReLU(x)={x,ax,​ifx≥

原型参数shape定义LogSigmoid(x)=log⁡(11+exp⁡(−x))\text{LogSigmoid}(x) = \log\left(\frac{ 1 }{ 1 + \exp(-x)}\right)LogSigmoid(x)=log(1+exp(−x)1​)图代码【参考】LogSigmoid — PyTorch 1.13 documentation

原型参数定义LeakyReLU(x)=max⁡(0,x)+negative_slope∗min⁡(0,x)\text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x)LeakyReLU(x)=max(0,x)+negative_slope∗min(0,x)orLeakyReLU(x)={x, if x≥0negative_slope×x, otherwise \text{LeakyReLU}(x) = \begin{cas

原型参数定义Hardswish(x)={0if x≤−3,xif x≥+3,x⋅(x+3)/6otherwise\text{Hardswish}(x) = \begin{cases} 0 & \text{if~} x \le -3, \\ x & \text{if~} x \ge +3, \\ x \cdot (x + 3) /6 & \text{otherwise} \end{cases}Hardswish(x)=⎩⎨⎧​0xx⋅(x+3)/6​if x≤−3,if x≥+3,otherwise​图代

原型参数定义HardTanh(x)={max_val if x> max_val min_val if x< min_val x otherwise \text{HardTanh}(x) = \begin{cases} \text{max\_val} & \text{ if } x > \text{ max\_val } \\ \text{min\_val} & \text{ if } x < \text{ min\_val } \\ x & \text{ otherwise } \\ \end{case

原型参数定义Hardsigmoid(x)={0if x≤−3,1if x≥+3,x/6+1/2otherwise\text{Hardsigmoid}(x) = \begin{cases} 0 & \text{if~} x \le -3, \\ 1 & \text{if~} x \ge +3, \\ x / 6 + 1 / 2 & \text{otherwise} \end{cases}Hardsigmoid(x)=⎩⎨⎧​01x/6+1/2​if x≤−3,if x≥+3,otherwise​图代码【

参数定义HardShrink(x)={x, if x>λx, if x \lambda \\ x, & \text{ if } x < -\lambda \\ 0, & \text{ otherwise } \end{cases}HardShrink(x)=⎩⎨⎧​x,x,0,​ if x>λ if x

参数ELU 定义ELU(x)={x, if x>0α∗(exp⁡(x)−1), if x≤0\text{ELU}(x) = \begin{cases} x, & \text{ if } x > 0\\ \alpha * (\exp(x) - 1), & \text{ if } x \leq 0 \end{cases}ELU(x)={x,α∗(exp(x)−1),​ if x>0 if x≤0​图代码【参考】ELU — PyTorch 1.13 documentation

2D 最大池化；

2D 反卷积；该模块可以被视为 Conv2d 相对于其输入的梯度，也被称为分数跨步卷积或反卷积（尽管不是真正意义的反卷积，因为不计算卷积的真逆）。

outNi​Coutj​​biasCoutj​​k0∑Cin​−1​WeightCoutj​​k∗inputNi​kN: 批大小C: 通道数H: 输入高W: 输入宽Tensorgroups​U−k​k​kCin​∗∏i01​igroups​TensorbiasTrueU−k​k​kCin​∗∏i01​igro。

在这个教程中，我们将学习利用视觉注意力机制（spatial transformer networks）增强我们的网络。（以下简称STN）是任何空间变换的可微注意力概括。STN允许一个神经网络学习如何执行空间变换，从而可以增强模型的几何鲁棒性。例如，可以截取ROI，尺度变换，角度旋转或更多的放射变换等等。STN一个很重要的特性就是在可以插入到任意的CNN里，只需要少量的修改。

本教程将通过一个示例来介绍 DCGAN。我将训练一个生成对抗网络 （GAN） ，在向其展示许多真实名人的照片后生成新的名人。这里大部分代码来自于。本文档针对这些实现进行全面解释，并阐述该模型的工作方式和原因。

将所有的子模块放到一个字典中。ModuleDict可以像常规Python字典一样进行索引，但它包含的模块已正确注册，所有Module方法都可以看到。ModuleDict是一个字典。– 一个（）映射（字典）或者可迭代的键值对。clear移除ModuleDict里所有的子模块。items返回 ModuleDict 键值对的迭代器keys返回ModuleDict键的可迭代项。返回： Iterable[str]popkey (str)– 从ModuleDict弹出的键返回：Module。

将所有子模块放到一个列表中。ModuleList可以像Python的列表一样进行索引，但是其所包含的模块都被正确的注册了，并且对所有的方法都可见。- 要添加的可迭代模块将制定模块插入到List尾部；输入：module输出：ModuleList将 Python 可迭代模块追加到列表尾部输入：module输出：ModuleList在列表中给定索引的前面插入指定的模块索引需要插入的模块。

顺序容器。模块将按照在构造函数中传递的顺序添加到其中，或者，可以传入其中。Sequential的forward()方法接受任何输入并将其传递到包含的第一个模块，然后链式输出到下一个模块作为输入，最后在最终的模块上输出。Sequential 在手动调用模块序列时提供的价值是，允许将整个容器视为单个模块，从而允许执行转换时应用于它所处处的每个模块。

研究推动ML模型变得更快、更准、更高效。设计和模型的安全性和鲁棒性经常被忽视，尤其是面对那些想愚弄模型故意对抗时。本教程将提供您对ML模型的安全漏洞的认识，并将深入了解对抗性机器学习这一热门话题。在图像中添加难以察觉的扰动会导致模型性能的显著不同，鉴于这是一个教程，我们将通过图像分类器的示例来探讨这个主题。具体来说，我们将使用第一种也是最流行的攻击方法之一，快速梯度符号攻击（FGSM）来欺骗MNIST分类器。

实际工作中，只有很少的人从头开始训练 CNN，因为很难获得大量的样本。一般情况下，会通过调用预训练模型，例如ConvNet在ImageNet1.2 M图像1000个类别）,可以用ConvNet初始化，也可以作为特征提取器 用于感兴趣的任务或领域。

用于训练目标检测、实例分割和人物关键点检测的参考脚本允许轻松支持添加新的自定义数据集。数据集应继承自标准的类，并实现__len__和。imagePIL图像(H, W)target: 字典数据，需要包含字段N个的位置坐标0~W, 0~H: 每个的类别标签，0代表背景类。: 图像的标签id，在数据集中是唯一的。的面积，在COCO度量里使用，可以分别对不同大小的目标进行度量。

现在，我们将把运行 loss 记录到 TensorBoard ，并查看模型通过 plot_classes_preds 函数所做的预测。就可以展开网络结构；TensorBoard 有一个非常方便的功能就是在低维空间可视化高维数据。让我们将图像写入到 TensorBoard, 用。一个非常强的功能是可视化复杂的模型结构。可以在上面的菜单栏中看到多了一个菜单。每个类别的 PR 曲线都不一样。可视化高维数据在低维空间的表达。

我们已经有一个通用的数据流程和训练流程，你可以用 PyTorch 训练任何数据。当然，还有很多事情需要做，例如：数据增强、超参数调节、训练监控、迁移学习等等。让我们去掉这两个假设，这样我们的模型可以处理任何二维单通道图像。，这允许我们定义所需的输出张量的大小，而不是现有的输入张量。因此，我们的模型可以处理任何大小的输入。类构建卷积层，我们定义3个卷积层，每个卷积层后跟着 ReLU，最后执行平均池化 （为了发挥它的优势，我们需要通过函数轻松定义定制的层。我们需要在网络中创建一个层：

PyTorch提供设计优雅的模块和类，帮助您创建和训练神经网络。为了充分利用他们的能力并针对您的问题定制他们，您需要真正了解他们在做什么。为了加深这种理解，我们将首先在MNIST数据集上训练基本神经网络，而不使用这些模型的任何特征；我们最初只使用最基本的功能。然后，我们将一次从或DataLoader中递增地添加一个功能，准确地显示每个部分的功能，以及如何使代码更简洁或更灵活。

这些都是神经网络的基础构建单元。

PyTorch模型存储学习到的参数在内部状态字典中，称为state_dict, 他们的持久化通过torch.save方法。如果要加载模型的话，首先需要实例化一个同类型的模型对象，然后用方法加载参数。

现在我们有了模型和数据，是时候通过优化数据上的参数来训练了，验证和测试我们的模型。训练一个模型是一个迭代的过程，在每次迭代中，模型会对输出进行猜测，计算猜测数据与真实数据的误差（损失），收集误差对其参数的导数（正如我们看到的那样），并使用梯度下降优化这些参数。