Improving Text Embeddings with Large Language Models

本文是LLM系列文章，针对《Improving Text Embeddings with Large Language Models》的翻译。

摘要

在本文中，我们介绍了一种新的简单方法，仅使用合成数据和小于1k的训练步骤来获得高质量的文本嵌入。与现有方法不同，现有方法通常依赖于使用数十亿个弱监督文本对进行多阶段中间预训练，然后使用一些标记的数据集进行微调，我们的方法不需要构建复杂的训练管道，也不需要依赖于手动收集的数据集，这些数据集往往受到任务多样性和语言覆盖率的限制。我们利用专有LLM为近100种语言的数十万文本嵌入任务生成各种合成数据。然后，我们使用标准对比损失对合成数据上的仅限开源解码器的LLM进行微调。实验表明，我们的方法在不使用任何标记数据的情况下，在竞争激烈的文本嵌入基准测试上实现了强大的性能。此外，当使用合成和标记数据的混合物进行微调时，我们的模型在BEIR和MTEB基准上设定了新的最先进的结果。

1 引言

2 相关工作

3 方法

4 实验

5 分析

6 结论

本文表明，利用LLM可以显著提高文本嵌入的质量。我们提示GPT-4等专有LLM使用多种语言的指令生成各种合成数据。结合Mistral模型强大的语言理解能力，我们在具有竞争力的MTEB基准上为几乎所有任务类别建立了最先进的新结果。训练过程比现有的多阶段方法更加精简和高效，从而无需进行中期预训练。
对于未来的工作，我们的目标是进一步提高我们模型的多语言性能，并探索使用开源LLM生成合成数据的可能性。我们还打算研究如何提高基