LARGE CONTENT AND BEHAVIOR MODELS TO UNDERSTAND, SIMULATE, AND OPTIMIZE CONTENT AND BEHAVIOR

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量123

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能深度学习机器学习

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132691960

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文探讨了大型语言模型（LLM）在理解和优化通信内容及行为方面的应用，指出虽然LLM在内容理解上有进展，但在预测和优化接收者行为上仍有局限。通过在训练中引入行为标记，新模型（LCBM）展现出在行为模拟、内容模拟和行为域自适应的能力，并发布了新的内容行为语料库（CBC）以促进相关研究。

本文是LLM系列文章，针对《LARGE CONTENT AND BEHAVIOR MODELS TO UNDERSTAND, SIMULATE, AND OPTIMIZE CONTENT AND BEHAVIOR》的翻译。

摘要

Shannon在介绍信息理论的开创性论文中，将通信分为三个层次：技术、语义和有效性。虽然技术层面涉及传输符号的准确重建，但语义和有效性层面涉及推断的含义及其对接收者的影响。多亏了电信，一级问题像互联网一样产生了巨大的进步。大型语言模型（LLM）在实现第二个目标方面取得了一些进展，但第三个层次在很大程度上仍然没有受到影响。第三个问题涉及针对期望的接收器行为来预测和优化通信。LLM虽然在广泛的任务中显示出广泛的泛化能力，但无法解决这一问题。表现不佳的一个原因可能是LLM的训练语料库中缺乏“行为表征”。行为标记定义了通信中的接收者行为，如分享、点赞、点击、购买、转发等。在为LLM训练预处理数据时，行为标记通常作为噪声从语料库中删除。因此，在本文中，我们在LLM训练中重新引入行为标记方面取得了一些初步进展。训练后的模型除了在内容理解任务上表现出与LLM相似的性能外，还表现出在行为模拟、内容模拟、行为理解和行为域自适应方面的泛化能力。在两个语料库上使用广泛的任务，我们展示了所有这些能力的结果。我们称这些模型为大型内容和行为模型（LCBM）。此外，为了促进对LCBM的更多研究，我们发布了新的内容行为语料库（CBC），这是一个包含通信者、消息和相应接收者行为的存储库。