RIKI_1

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

下面定义训练函数。由于填充项的存在，与之前的训练函数相比，损失函数的计算稍有不同。# 使用掩码变量mask来避免填充项对损失函数计算的影响mask.shape[1] / mask.float().sum(dim=1)).mean() # 一个batch的平均lossn += 1现在我们就可以使用负采样训练跳字模型了。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

下面我们来描述样式迁移的损失函数。它由内容损失、样式损失和总变差损失3部分组成。

我们通过继承PyTorch提供的Dataset类自定义了一个语义分割数据集类。通过实现函数，我们可以任意访问数据集中索引为idx的输入图像及其每个像素的类别索引。由于数据集中有些图像的尺寸可能小于随机裁剪所指定的输出尺寸，这些样本需要通过自定义的filter函数所移除。此外，我们还对输入图像的RGB三个通道的值分别做标准化。# 本函数已保存在d2lzh_pytorch中方便以后使用""""""])

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

我们使用在ImageNet数据集上预训练的ResNet-18作为源模型。这里指定来自动下载并加载预训练的模型参数。在第一次使用时需要联网下载模型参数。os.environ["TORCH_HOME"]="E:\\models"#修改成你自己需要的目录不管你是使用的torchvision的models还是pretrained-models.pytorch仓库，默认都会将预训练好的模型参数下载到你的home目录下.torch文件夹。你可以通过修改环境变量。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

此节内容对应的内容有兴趣的可以去看看原文。今天的计算机是高度并行的系统，由多个CPU核、多个GPU、多个处理单元组成。通常每个CPU核有多个线程，每个设备通常有多个GPU，每个GPU有多个处理单元。总之，我们可以同时处理许多不同的事情，并且通常是在不同的设备上。不幸的是，Python并不善于编写并行和异步代码，至少在没有额外帮助的情况下不是好选择。归根结底，Python是单线程的，将来也是不太可能改变的。因此在诸多的深度学习框架中，MXNet和TensorFlow之类则采用了一种异步编程（asynchron

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均 [1]。下面我们来介绍这个算法。所以Adam算法可以看做是RMSProp算法与动量法的结合。adam算法是一种基于“momentum”思想的随机梯度下降优化方法，通过迭代更新之前每次计算梯度的一阶moment和二阶moment，并计算滑动平均值，后用来更新当前的参数。这种思想结合了Adagrad算法的处理稀疏型数据，又结合了RMSProp算法的可以处理非稳态的数据。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。

在初始化函数中，长短期记忆的隐藏状态需要返回额外的形状为(批量大小, 隐藏单元个数)的值为0的记忆细胞。下面根据长短期记忆的计算表达式定义模型。需要注意的是，只有隐藏状态会传递到输出层，而记忆细胞不参与输出层的计算。

下面的代码定义隐藏状态初始化函数。同6.4节（循环神经网络的从零开始实现）中定义的函数一样，它返回由一个形状为(批量大小, 隐藏单元个数)的值为0的Tensor组成的元组。下面根据门控循环单元的计算表达式定义模型。H, = state。

简单起见，我们考虑一个无偏差项的循环神经网络，且激活函数为恒等映射（ϕxx\phi(x)=xϕxx设时间步ttt的输入为单样本xt∈Rdxt​∈Rd，标签为yty_tyt​，那么隐藏状态ht∈Rhht​∈Rh的计算表达式为htWhxxtWhhht−1ht​Whx​xt​Whh​ht−1​其中Whx∈Rh×dWhx​∈Rh×d和Whh。

PyTorch中的nn模块提供了循环神经网络的实现。下面构造一个含单隐藏层、隐藏单元个数为256的循环神经网络层rnn_layer。# rnn_layer = nn.LSTM(input_size=vocab_size, hidden_size=num_hiddens) # 已测试与上一节中实现的循环神经网络不同，这里rnn_layer的输入形状为(时间步数, 批量大小, 输入个数)。其中输入个数即one-hot向量长度（词典大小）。此外，rnn_layer作为nn.RNN。

我们根据循环神经网络的计算表达式实现该模型。首先定义函数来返回初始化的隐藏状态。它返回由一个形状为(批量大小, 隐藏单元个数)的值为0的NDArray组成的元组。使用元组是为了更便于处理隐藏状态含有多个NDArray的情况。下面的rnn函数定义了在一个时间步里如何计算隐藏状态和输出。这里的激活函数使用了tanh函数。3.8节（多层感知机）中介绍过，当元素在实数域上均匀分布时，tanh函数值的均值为0。

注：本文为开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图。