Multimodal Intention Knowledge Distillation from Large Language Models

本文是LLM系列文章，针对《Miko: Multimodal Intention Knowledge Distillation from Large
Language Models for Social Media Commonsense Discovery》的翻译。

摘要

社交媒体已经成为一种无处不在的工具，可以与他人联系、随时了解新闻、表达意见和寻找娱乐。然而，理解社交媒体帖子背后的意图仍然具有挑战性，因为这些意图具有隐含性和常识性，需要对文本和图像进行跨模态理解，以及存在诸如标签、拼写错误的单词和复杂缩写等嘈杂信息。为了应对这些挑战，我们提出了Miko，这是一个多模态意图知识提取框架，它协同利用大型语言模型（LLM）和多模态大型语言模式（MLLM）来揭示用户的意图。具体来说，我们使用MLLM来解释图像，使用LLM来从文本中提取关键信息，并最终再次指示LLM生成意图。通过将Miko应用于公开的社交媒体数据集，我们构建了一个意向知识库，其中包含137287篇帖子中的1372K个意向。我们进行了两阶段的注释，以验证生成的知识的质量，并对广泛使用的LLM用于意图生成的性能进行基准测试。我们进一步将Miko应用于讽刺检测数据集，并提取学生模型，以展示应用意图知识的下游优势。

1 引言

2 相关工作

3 定义和数据集

4 方法

5 内在评价

6 外