本文是LLM系列文章,针对《When Text Embedding Meets Large Language Model: A Comprehensive Survey》的翻译。
当文本嵌入遇到大型语言模型时:综合调查
摘要
在深度学习时代,文本嵌入已成为自然语言处理(NLP)的基础技术,推动了一系列下游任务的进步。虽然现在可以使用生成范式对许多自然语言理解挑战进行建模,并利用大型语言模型(LLM)的强大生成和理解能力,但许多实际应用,如语义匹配、聚类和信息检索,仍然依赖于文本嵌入来提高效率和有效性。在这项调查中,我们将LLM和文本嵌入之间的相互作用分为三个总体主题:(1)LLM增强文本嵌入,用LLM增强传统嵌入方法;(2) LLM作为文本嵌入器,利用其固有的嵌入生成能力;以及(3)使用LLM理解文本嵌入,利用LLM分析和解释嵌入。通过基于交互模式而不是特定的下游应用来组织这些工作,我们对LLM时代各种研究和应用领域的贡献进行了新颖而系统的概述。此外,我们强调了在LLM时代之前,通过预训练语言模型(PLM)持续存在的未解决的挑战,并探讨了LLM带来的新障碍。基于这一分析,我们概述了文本嵌入发展的未来方向,解决了NLP快速发展领域的理论和实践机会。