qq_40206371的博客

这么说可能不清楚，我们用例子说明。

注：以下是个人观点：这边kernel_size=2（TCN的标准做法），所以此时dilation = 2**i还是dilation = kernel_size**i是无所谓的，但如果。每一个TemporalBlock是由两个因果扩张卷积组成的。如上图，把输出后的x5'和x6'裁剪掉。

【代码】大模型笔记：pytorch实现MOE。

【代码】pytorch笔记：mm VS bmm。

【代码】pytorch 笔记：torch.optim.Adam。

这在微调预训练网络时特别有用，例如当你决定解冻某些层，让它们在训练过程中变得可训练，并需要被优化器管理。这是大多数优化器支持的简化版本。一旦使用例如 backward() 计算了梯度，就可以调用该函数。这个字典指定了应该被优化的张量（Tensors），以及与该参数组相关的特定优化选项。假设有一个已经训练的模型，现在在特定的epoch之后，要解冻最后几层以进行微调。所有优化器都实现了一个 step() 方法，用于更新参数。这些选项可以包括学习率 (

可以使用。

【代码】机器学习/pytorch笔记:time2vec。

具体来说，有以下数据：张量a（大小为 40x10），包含 40 个位置的embedding（每个位置的embedding维度为10）。张量b（大小为 4x10），包含一个batch中4个预测位置的embedding。张量c（大小为 4x1），包含四个ground-truth位置的索引。任务是对于b中的每个位置，计算它与a中所有40个位置的embedding的内积，然后选取内积值最高的10个位置。接下来，检查c中的ground-truth位置索引是否在这10个最高内积位置中。

用top/htop找到相应程序的PID,再使用 kill 结束该进程。可以清理任何先前运行的程序可能遗留的未释放内存。

时，这表示使用曼哈顿距离（或 L1 范数）。（无穷大）可以用来计算切比雪夫距离。计算距离时使用的范数的阶数。，这表示使用欧几里得距离。

会退化成普通的二元交叉熵损失（Binary Cross Entropy, BCE）权重因子，范围在 (0,1) 之间，用于平衡正负样本。存储每个元素的二分类标签（0表示负类，1表示正类）'none'、'mean' 或 'sum'。与 inputs 形状相同的浮点张量。'none' 表示对输出不进行约简；'mean' 表示将输出取平均；当 =α=1 且 γ=0= 时，'sum' 表示将输出求和。默认为 'none'

时，PyTorch 会在程序第一次执行每种卷积配置时启用一个自动调优器，这个调优器通过实际运行不同的卷积算法来测试它们的性能。（默认值）时，PyTorch/cuDNN 会选择一个合适的、通用的卷积算法来执行操作，而不会根据具体的网络配置进行优化。这是因为一旦为每种卷积配置选择了最优算法，就不需要再进行调整，每次执行同样的卷积操作都会使用这一最优算法。然后，它选择最快的算法，并在后续的训练过程中使用这一算法。这个“基准测试”过程只在第一次遇到新的卷积配置时进行。

输入为半精度（FP16），输出为全精度（FP32）

返回给定输入张量沿指定维度的最大的 k 个元素dimlargestFalsedimsortedTrue。

将一个连续的维度范围扁平化为一个张量start_dimend_dim。

接收一个包含索引值的 LongTensor，形状为()，并返回一个形状为(, num_classes)的张量，该张量在所有位置都是零，除了在输入张量对应值的索引位置处为1。(int) – 总类别数。如果设置为-1，则类别数将被推断为输入张量中最大类别值加一。num_classes必须比tensor中出现的数字多，否则会报错。

nn.Module。

可以是一个整数或一个元组。，那么填充后的序列将是。被复制了两次，右边的。

计算两个Tensor之间的p-范数。

【代码】t2vec 辅助笔记：evaluate.py。

用于防止在训练神经网络时出现梯度爆炸的问题。梯度裁剪通过限制梯度的范数来防止梯度的值变得过大。

是 PyTorch 中的一个函数，用于将张量按指定的大小或张量数量进行分割。

从指定的路径加载预训练的词嵌入权重，并将这些权重复制到模型中的。

是一个PyTorch函数，用于检查两个张量是否在某个容忍度范围内近似相等otherrtolatolequal_nan。

nn.GRUhnseq_lenhnseq_lenhnGRUCell如果seq_len为1，那么nn.GRU的hn和的hn应该是相同的？

在多层GRU中，第 l 层的输入（对于 l≥2）是前一层的隐藏状态乘以概率 dropout。

使用的主要好处是。因为通过跳过填充部分，RNN不需要在这些部分进行无用的计算。这特别对于处理长度差异很大的批量序列时很有帮助。

对一个已打包的序列进行解包，这个打包的序列通常是通过。设置为False，输入序列将无条件地被排序。，序列应该按长度降序排列。函数从一个填充的序列得到的。还是之前的packed。

【代码】pytorch笔记：TRIPLETMARGINLOSS。

对于具有相同形状的张量 ypred​ 和 ytrue（ypred​ 是输入，ytrue​ 是目标），定义逐点KL散度为：为了在计算时避免下溢问题，此KLDivLoss期望输入在对数空间中。如果log_target=True，则目标也在对数空间。

是 PyTorch 中的一个非常有用的函数，允许从给定的维度中选择指定索引的张量值一个 1D 张量，包含你想要从dim维度中选择的索引此张量应该是LongTensor类型一个可选的参数，用于指定输出张量。如果没有提供，将创建一个新的张量。

默认情况，Frobenius范数。

进行一个维度的快速傅里叶变换。

画出pytorch的流程图。

使用BCE计算重构误差。

这个在后面的一些nn.init初始化中会用到。

embed_dim模型的维度num_headsattention的头数（embed_dim会平均分配给每个头，也即每个头的维度是embed_dim//num_heads）dropoutattn_output_weights的dropout概率biasinput和output的投影函数，是否有biaskdimk的维度，默认embed_dimvdimv的维度，默认embed_dimTrue——输入和输出的维度是(batch_num,seq_len,feature_dim)

【代码】pytorch笔记 meshgrid。