v2tng-优快云博客

原创多头，接上文天气预测

这段代码实现了一个多头自注意力机制，其主要步骤包括：将输入数据转换为查询（Q）、键（K）和值（V）。将 Q、K 和 V 分成多个头，并独立计算每个头的注意力。计算注意力分数，并将其转换为概率分布。计算上下文向量，并将多头的输出合并。通过一个线性层输出最终结果。

2025-08-16 09:38:35 402

类实现了自注意力机制。：隐藏层的维度。querykey和value：三个线性变换层，分别对应 Q、K 和 V。softmax：用于计算注意力权重。forward：将输入x通过查询线性变换层，得到查询向量 Q。：将输入x通过键线性变换层，得到键向量 K。：将输入x通过值线性变换层，得到值向量 V。：计算 Q 和 K 的点积，得到注意力分数矩阵。：进行缩放操作，防止点积结果过大。：通过 softmax 函数计算注意力权重。：计算上下文向量，即注意力权重与值向量的加权和。：返回上下文向量。

2025-08-16 09:31:33 814

原创 two.py多头自注意力机制

线性变换：将输入的 Q、K、V 投影到多头的维度。分割头：将 Q、K、V 分割成多个头，每个头独立处理。缩放点积注意力：计算每个头的注意力分数，并应用掩码。合并头：将多头的结果合并回一个张量。最终线性变换：将合并后的结果投影回d_model维度。

2025-08-16 08:26:56 876

原创多头自注意力机制

定义查询、键、值的线性变换# 定义输出的线性变换是一个继承自nn.Module的类，表示一个多头自注意力模块。__init__方法初始化模块的参数和层。embed_size是输入的embedding维度。num_heads是头的数量，表示将embedding空间分成多少个子空间。head_dim是每个头的维度，计算公式为。assert语句确保embed_size能被num_heads整除。query_fckey_fc和value_fc。

2025-08-16 07:55:51 409

原创单头自注意力机制

是PyTorch库，用于张量操作和自动求导。提供了一些常用的神经网络操作函数，如softmax。torch.nn提供了构建神经网络的模块和层。是一个继承自nn.Module的类，表示一个单头自注意力模块。__init__方法初始化模块的参数和层。embed_size是输入的embedding维度。query_fckey_fc和value_fc是三个线性变换层，分别用于将输入数据转换为查询（Query）、键（Key）和值（Value）向量。out_fc。

2025-08-16 07:38:05 388

原创 COVID--19 Cases Prediction(李宏毅教授作业一代码解析)

设置了 NumPy 和 PyTorch 的随机种子，并关闭了 CUDA 的非确定性行为。：通过固定随机种子，确保每次运行代码时的随机数生成器（RNG）行为一致，便于复现结果。：将模型设置为评估模式，逐批加载测试数据，预测结果并拼接成一个 NumPy 数组。函数，根据给定的比例划分数据集，并通过随机种子确保划分的一致性。，经过两层隐藏层（16 和 8 个神经元），最后输出一个值。否则，选择指定的特征列。返回训练集、验证集和测试集的特征和目标值。：定义了一个简单的全连接神经网络模型。

2025-07-24 19:21:06 290 1

原创优快云的博客功能的初步使用——语音信号中进行逐帧音素（phoneme）预测

附加B站视频链接：【pycharm使用教程：PyCharm安装与使用】https://www.bilibili.com/video/BV1HBoYYLEgF?这是一个基于语音信号的多类别分类任务，目标从语音信号中进行逐帧音素（phoneme）预测（音素是语言中能够区分不同单词的发音单元，例如“bat”和“pat”中的/b/和/p/）这是原文代码，由于这是在Google Colab上这样的交互式编程环境中运行的，因此在Pycharm上无法直接运行。已经运行过，原文链接仍然可以使用，但是下载速度较慢。

2025-07-11 09:39:49 142 1

2401_87814054的博客