序列到序列AI模型由Google于2014年推出,旨在将固定长度的输入(通常是文本)与固定长度输出映射,其中输入和输出的长度可能会有所不同。它们被用于文本生成任务,包括摘要,语法错误纠正和语句合并,并且最近的体系结构突破使它们相比以前能够发挥出更大的作用。
但是该模型本身并不完善,因为它们(1)需要大量的训练数据才能达到可接受的性能水平,(2)而且通常需要逐字生成输出(这会使它们固有地变慢)。这就是Google研究人员开发LaserTagger的原因,LaserTagger是一种开放源代码的文本编辑模型,该模型可以预测将源文本转换为目标文本的一系列编辑操作。研究人员宣称LaserTagger以一种不易出错的方式处理文本生成,并且更易于训练和执行。
github地址:https://github.com/google-research/lasertagger论文地址:https://arxiv.org/pdf/1909.01187.pdf
LaserTagger的发布紧随Google在自然语言处理和理解领域做出的杰出贡献。上周,这家科技巨头推出了Meena聊天机器人模型。
Meena是一个具有26亿个参数的端到端训练的神经网络对话模型。根据Google的说法,Meena经过30天的训练,使用了2,048张量处理单元(Google专用的AI专用芯片),数据集为400亿个单词(不是随机的)。Google挖掘了公共领域的社交媒体,以进行“多回合对话”,其中“回合”指的是对话中的一对短语。
然而即使Google开源了Meen