LARGE CONTENT AND BEHAVIOR MODELS TO UNDERSTAND, SIMULATE, AND OPTIMIZE CONTENT AND BEHAVIOR-优快云博客

本文是LLM系列文章，针对《LARGE CONTENT AND BEHAVIOR MODELS TO UNDERSTAND, SIMULATE, AND OPTIMIZE CONTENT AND BEHAVIOR》的翻译。

用于理解、模拟和优化内容和行为的大型内容和行为模型

摘要
1 引言
2 设置
3 结果和讨论
4 相关工作
5 结论

摘要

Shannon在介绍信息理论的开创性论文中，将通信分为三个层次：技术、语义和有效性。虽然技术层面涉及传输符号的准确重建，但语义和有效性层面涉及推断的含义及其对接收者的影响。多亏了电信，一级问题像互联网一样产生了巨大的进步。大型语言模型（LLM）在实现第二个目标方面取得了一些进展，但第三个层次在很大程度上仍然没有受到影响。第三个问题涉及针对期望的接收器行为来预测和优化通信。LLM虽然在广泛的任务中显示出广泛的泛化能力，但无法解决这一问题。表现不佳的一个原因可能是LLM的训练语料库中缺乏“行为表征”。行为标记定义了通信中的接收者行为，如分享、点赞、点击、购买、转发等。在为LLM训练预处理数据时，行为标记通常作为噪声从语料库中删除。因此，在本文中，我们在LLM训练中重新引入行为标记方面取得了一些初步进展。训练后的模型除了在内容理解任务上表现出与LLM相似的性能外，还表现出在行为模拟、内容模拟、行为理解和行为域自适应方面的泛化能力。在两个语料库上使用广泛的任务，我们展示了所有这些能力的结果。我们称这些模型为大型内容和行为模型（LCBM）。此外，为了促进对LCBM的更多研究，我们发布了新的内容行为语料库（CBC），这是一个包含通信者、消息和相应接收者行为的存储库。