Transformer Grammars 开源项目教程

Transformer Grammars 开源项目教程

transformer_grammars Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale, TACL (2022) 项目地址: https://gitcode.com/gh_mirrors/tr/transformer_grammars

1. 项目介绍

Transformer Grammars 是一种Transformer-like模型，用于处理句子或文档的联合结构和序列。它的特点是使用的注意力掩码是结构本身的函数，使得组成成分的表示可以递归地组合。这种模型在论文《Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale》中有详细描述。

2. 项目快速启动

以下是快速启动Transformer Grammars项目的步骤：

首先，克隆项目仓库：

git clone https://github.com/deepmind/transformer_grammars.git
cd transformer_grammars

创建一个虚拟环境并激活：

python -m venv .tgenv
source .tgenv/bin/activate

安装项目依赖：

./install.sh

运行测试套件以验证安装：

nosetests transformer_grammars

3. 应用案例和最佳实践

为了方便理解和使用，项目中提供了一个使用示例，其中包含了从狄更斯《双城记》中解析的句子，并使用spaCy进行句子切分和Benepar进行语法分析。

以下是使用示例的步骤：

进入示例目录：

cd example

准备数据：

./prepare_data.sh

进行模型训练：

./run_training.sh

对测试集进行评分：

./run_scoring.sh

生成样本：

./run_sampling.sh

请注意，这个示例中的模型只进行了少量的训练，因此结果可能不佳。它仅作为一个端到端的示例，展示如何训练和使用TG模型。

4. 典型生态项目

目前，Transformer Grammars的生态项目包括但不限于：

• 数据预处理工具：用于将输入数据转换为模型所需的格式。
• 模型训练工具：提供训练模型的脚本和配置。
• 评估工具：用于评估模型在测试集上的表现。
• 采样工具：用于生成新的文本样本。

这些工具和脚本都旨在帮助用户更好地理解、训练和使用Transformer Grammars模型，并促进其在大规模数据集上的应用。

transformer_grammars Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale, TACL (2022) 项目地址: https://gitcode.com/gh_mirrors/tr/transformer_grammars