When Text Embedding Meets Large Language Model: A Comprehensive Survey

本文是LLM系列文章，针对《When Text Embedding Meets Large Language Model: A Comprehensive Survey》的翻译。

摘要

在深度学习时代，文本嵌入已成为自然语言处理（NLP）的基础技术，推动了一系列下游任务的进步。虽然现在可以使用生成范式对许多自然语言理解挑战进行建模，并利用大型语言模型（LLM）的强大生成和理解能力，但许多实际应用，如语义匹配、聚类和信息检索，仍然依赖于文本嵌入来提高效率和有效性。在这项调查中，我们将LLM和文本嵌入之间的相互作用分为三个总体主题：（1）LLM增强文本嵌入，用LLM增强传统嵌入方法；（2） LLM作为文本嵌入器，利用其固有的嵌入生成能力；以及（3）使用LLM理解文本嵌入，利用LLM分析和解释嵌入。通过基于交互模式而不是特定的下游应用来组织这些工作，我们对LLM时代各种研究和应用领域的贡献进行了新颖而系统的概述。此外，我们强调了在LLM时代之前，通过预训练语言模型（PLM）持续存在的未解决的挑战，并探讨了LLM带来的新障碍。基于这一分析，我们概述了文本嵌入发展的未来方向，解决了NLP快速发展领域的理论和实践机会。

1 引言

2 前言

3 LLM增强文本嵌入

4 LLM作为文本嵌入器

5 基于LLMS的文本嵌入理解

6 挑战