Luo_LA的博客

SQL2Text 是一项将 SQL 查询映射到相应的自然语言问题的任务。之前的工作将 SQL 表示为稀疏图，并利用 graph-to-sequence 模型来生成问题，其中每个节点只能与 k 跳节点通信。由于无法捕获长期且缺乏特定于 SQL 的关系，这样的模型在适应更复杂的 SQL 查询时将会退化。为了解决这个问题，我们提出了一种 Relation-Aware Graph Transformer（RGT）来同时考虑 SQL 结构和各种关系。具体来说，为每个SQL构建一个抽象的SQL语法树来提供底层关系。

在 HetSum 的和基础上，提出 HetCoS 通过探索源代码固有的异构性来提取源代码的语法和顺序特征以进行代码摘要。具体来说，我们首先构建一个异构代码图（HCG），它将语法结构和代码序列与图节点之间设计的八种类型的边/关系融合在一起。此外，我们提出了一种异构图神经网络来捕获 HCG 中的不同关系。然后将表示的 HCG 输入 Transformer 解码器，然后采用基于多头注意力的复制机制来支持高质量摘要生成。

在本文中，我们提出了一个名为 HetSum 的新颖框架。具体来说，首先通过在 AST 中设计六种类型的增强边来构建异构语法图（HSG），这表明了源代码的异构结构。同时，考虑布局信息，为源代码中的每个标记设计了双重位置。此外，我们在 HetSum 中开发了异构图神经网络来对 HSG 进行编码，同时使用 Transformer 编码器提取代码布局特征。通过将学习到的代码标记向量同化到 HSG 编码器中，HetSum 可以捕获两个编码器之间的关系，以改进代码表示。

在本文中，我们提出了一种名为 SCRIPT 的基于 Transformer 的神经方法，它可以很好地学习代码的结构语义以进行源代码摘要。为了利用这两种 Transformer 编码器，我们引入了 SCRIPT 编码器模块，它是两种类型 Transformer 的堆栈，即 RDW-Transformer 和 SRPEi-Transformer。这样的表示有一个好处，就是位置矩阵 M 可以很容易地集成到 Transformer 中，而无需改变 Transformer 的架构。具体来说，我们将 AST 中令牌。

为了学习序列中标记的顺序并对标记之间的关系进行建模，Transformer 需要注入位置编码。在这项工作中，本方法表明，通过使用相对位置表示对源代码标记之间的成对关系进行建模，相较于使用绝对位置表示学习代码标记的序列信息会取得更显著的改进。在本节中，将简要描述 Transformer 架构以及如何在 Transformer 中对源代码标记的顺序或其成对关系进行建模。相反，它们的相互作用会影响源代码的含义。然而，我们表明，捕获代码标记的顺序对学习源代码表示没有帮助，并且会导致摘要性能较差。

2. Model抽象器的训练通过六个步骤完成：➃ 提取重要语句(IState)，➄ 和 ➅ 生成重要语句和整个代码的嵌入表示(eExe^{Ex}eEx和eAbe^{Ab}eAb) ➆ 基于eExe^{Ex}eEx和eAbe^{Ab}eAb生成融合表示eFue^{Fu}eFu，➇ 生成预测摘要，以及 ➈ 根据预测摘要（PSummaries）和真实摘要（注释）计算损失 {L_Ab} 以更新模型参数。提取重要语句。