Google开源了LaserTagger，一种可加速文本生成的AI模型

序列到序列AI模型由Google于2014年推出，旨在将固定长度的输入（通常是文本）与固定长度输出映射，其中输入和输出的长度可能会有所不同。它们被用于文本生成任务，包括摘要，语法错误纠正和语句合并，并且最近的体系结构突破使它们相比以前能够发挥出更大的作用。

 

但是该模型本身并不完善，因为它们（1）需要大量的训练数据才能达到可接受的性能水平，（2）而且通常需要逐字生成输出（这会使它们固有地变慢）。这就是Google研究人员开发LaserTagger的原因，LaserTagger是一种开放源代码的文本编辑模型，该模型可以预测将源文本转换为目标文本的一系列编辑操作。研究人员宣称LaserTagger以一种不易出错的方式处理文本生成，并且更易于训练和执行。

github地址：https://github.com/google-research/lasertagger论文地址：https://arxiv.org/pdf/1909.01187.pdf

LaserTagger的发布紧随Google在自然语言处理和理解领域做出的杰出贡献。上周，这家科技巨头推出了Meena聊天机器人模型。

 

Meena是一个具有26亿个参数的端到端训练的神经网络对话模型。根据Google的说法，Meena经过30天的训练，使用了2,048张量处理单元（Google专用的AI专用芯片），数据集为400亿个单词（不是随机的）。Google挖掘了公共领域的社交媒体，以进行“多回合对话”，其中“回合”指的是对话中的一对短语。

然而即使Google开源了Meena的代码，也只有少数机构能够训练类似Meena的模型。目前Meena仍停留在实验室阶段，并且管理起来非常复杂，还不能被合并到工具中，Google也不太可能很快将其作为服务推出。

 

LaserTagger的开发是基于以下情况：对于许多文本生成任务，输入和输出之间经常存在重叠。例如，在检测和纠正语法错误或融合多个句子时，大多数输入文本是可以保持不变的，只需要修改其中一小部分单词。然后，LaserTagger会产生一系列的编辑操作，而不是实际的单词，例如keep（将单词直接复制到输出），delete（删除单词），以及keep-addx（在标记前添加短语X）和delete-addx（删除已标记的字）。

 

添加的短语来自受限制的词汇表，该词汇表已经过优化，可以最大程度地减少词汇量，并增加训练示例的数量。添加到目标文本的唯一必要单词仅来自词汇表，从而避免了模型添加任意单词的问题，并减少了产生输入文本不支持的输出的情况发生。此外，LaserTagger还可以高精度地并行预测编辑操作，与按顺序执行预测的模型相比，可以实现端到端的加速。

谷歌的开发者对多个文本生成任务进行了评估，LaserTagger在使用大量训练示例的基准模型上表现出“相当强大”的性能，并且比序列到序列模型速度快100倍。即使仅使用几百或几千个培训示例进行训练，它也会产生“合理”的结果，可以手动编辑或整理。

 

该团队称：“ LaserTagger的优势在大规模应用时会变得更加明显，例如，通过减少响应时间并减少重复性，改进了某些服务中语音应答的格式。高推理速度使该模型可以插入现有技术堆栈中，而不会在用户端增加任何明显的延迟，而改进的数据效率可以收集多种语言的训练数据，从而使来自不同语言背景的用户受益。”