Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions

本文是LLM系列文章，针对《Matryoshka-Adaptor: Unsupervised and Supervised Tuning for Smaller Embedding Dimensions》的翻译。

摘要

大型语言模型（LLM）的嵌入已成为各种应用程序中的关键组件，特别是在信息检索方面。虽然高维嵌入通常表现出更优的性能，因为它们包含更显著的信息，但它们的实际应用经常受到计算延迟增加和相关成本增加的阻碍。为了应对这些挑战，我们提出了Matryoshka Adaptor，这是一种为定制LLM嵌入而设计的新型调优框架。MatryoshkaAdaptor有助于大幅降低维度，同时保持可比的性能水平，从而显著提高计算效率和成本效益。我们的框架直接修改了预训练LLM的嵌入，该LLM旨在与任何LLM架构无缝集成，包括那些只能通过黑盒API访问的LLM。此外，它在无监督和监督学习环境中都表现出了有效性。对各种英语、多语言和多模态数据集进行的严格评估一致表明，Matryoshka Adaptor取得了实质性进展。值得注意的是，通过谷歌和OpenAI嵌入API，Matryoshka Adaptor在不影响多个BEIR数据集性能的情况下实现了从2到12倍的维度降低。

1 引言

2 相关工作

3 非监督的Matryoshka-Adaptor

4 监督的Matryoshka-Adaptor