5、Deps - SAN：用于神经机器翻译的创新方法

Deps - SAN：用于神经机器翻译的创新方法

在神经机器翻译（NMT）领域，提升Transformer架构的语法感知能力是一个重要的研究方向。本文将介绍一种名为Deps - SAN（Dependency - scaled Self - Attention Network）的创新方法，它为Transformer架构的语法感知NMT带来了新的解决方案。

1. 研究背景与贡献

在现有的NMT架构中，一些方法没有通过语法信息修改核心的自注意力网络（SAN）组件。为了解决这个问题，研究者提出了无参数的Deps - SAN，用于语法感知的基于Transformer的NMT。其主要贡献如下：
- 引入Deps - SAN ：为无约束的SAN的注意力分布提供引导，通过引入量化的语法依赖关系来计算传统的SAN。
- 提出知识稀疏方法 ：提出两种知识稀疏技术（RS - Sparsing和Wink - Sparsing），防止Deps - SAN过拟合依赖噪声，为基于SAN的方法的抗过拟合提供了思路。
- 实验验证有效性 ：在两个基准NMT数据集上进行了广泛的实验和分析，证明了该系统的有效性。

2. 方法介绍

将该方法应用于基于Transformer的NMT需要经过三个步骤：
1. 推导依赖缩放矩阵
2. 构建Deps - SAN
3. **添加知识稀疏

下面详细介绍每个步骤：

2.1