结构化数据自动生成文本技术解析

结构化数据自动生成文本技术解析

数据到文本生成技术将表格等结构化格式的信息转换为自然语言，使得结构化信息能够被阅读或收听，例如设备显示天气预报或语音助手回答问题。

技术挑战

基于数十亿句子训练的语言模型能够学习常见语言模式，通过预测可能的词序列生成自然流畅的句子。然而在数据到文本生成中，我们不仅需要流畅的语言，还需要准确传达内容。

传统的数据到文本生成方法使用机器学习模型流水线将数据转换为文本，但这种方法创建过程劳动密集，且流水线中一个步骤的错误会在后续步骤中累积。

DataTuner解决方案

某中心AI组织开发了一种名为DataTuner的神经端到端数据到文本生成系统，适用于各种数据类型和主题，能够生成流畅准确的文本。

系统架构

DataTuner的方法包含两个步骤：生成和重排序。

首先，语言模型从数据生成文本。在实验中，研究人员从能够生成文本的预训练语言模型GPT-2开始。为了使其适应数据到文本任务，使用特殊标记<data>和<text>来区分数据和文本，在连接的数据和文本上对其进行训练。使用训练好的模型生成文本时，唯一输入是数据。

在模型内部，连接了几种类型的嵌入：

• 词元嵌入：编码单个输入词的语义信息
• 位置嵌入：表示词在文本中的位置
• 细粒度状态嵌入：使用特殊标记表示数据项之间的结构关系

例如，数据三元组"Michelle Obama | author of | Becoming"将被转换为字符串" Michelle Obama author of Becoming"，其中<subject>、<object>和<predicate>是特殊标记。任何词元的状态嵌入是最近在其前面的特殊标记的嵌入。

语义保真度分类器

其次，训练一个语义保真度分类器。该分类器接收输入数据和生成的文本，识别文本是否准确传达了数据，或者是否添加、重复、省略或更改了任何内容。使用此分类器根据准确性对生成的文本进行重排序。

分类器使用RoBERTA语言模型和额外的分类层进行训练，这种方法在其他任务（如自然语言推理）中已被证明成功。对于每个输入词元（数据或文本），取词元嵌入、位置嵌入和段嵌入（区分文本和数据的词元嵌入），将这些元素逐项求和，作为RoBERTa第一层的输入。最终的单层神经网络产生分类标签。

实验评估

在四种不同格式的数据集上进行了实验，包括新闻文本、餐厅评论和关于视频游戏的聊天。通过自动指标和人工评估对生成的文本进行了评估。

实验结果显示：

• 与最佳性能的前代系统相比，DataTuner在自动指标上显著推进了技术水平
• 人工标注者认为生成的文本更自然、更准确
• 在两个数据集中，生成的文本平均比人工编写的文本更自然
• DataTuner将生成文本的语义准确性提高了5.3%到40%

研究还发现，没有细粒度状态嵌入的模型准确性较低，添加语义保真度分类器能进一步提高准确性。

技术优势

DataTuner方法的主要优势在于：

1. 端到端训练，无需复杂的流水线设计
2. 结合了语言生成的流畅性和语义保真度的准确性
3. 适用于多种数据类型和主题
4. 在多个数据集上均表现出色

这项技术为结构化数据到自然语言的转换提供了更加可靠和高效的解决方案，在人机交互、数据可视化和信息访问等领域具有广泛应用前景。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）