BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context LLM

本文是LLM系列问文章，针对《BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models》的翻译。

摘要

检索增强是处理长上下文语言建模的一种很有前途的方法。然而，现有的检索方法通常使用分块上下文，这容易导致语义表示质量较差和有用信息检索不完整。在这项工作中，我们提出了一种新的方法来增强长上下文语言建模的检索，称为地标嵌入。我们的方法有三个技术贡献。首先，我们引入了一种无分块的架构，它保持长上下文的连贯性，从而可以为上下文中的细粒度单元生成高质量的嵌入。其次，我们提出了一个位置感知的目标函数，它优先考虑连续信息跨度的最终边界。通过学习区分这样一个特殊的位置，可以为查询全面检索有用的信息。第三，我们设计了一种新的多级学习算法，该算法最大限度地利用现成的数据和合成数据进行具有成本效益的地标嵌入训练。在我们的实验研究中，里程碑嵌入能够显著提高LLaMA-2和ChatGPT在各种长上下文任务中的性能；同时，它也优于现有的检索方法，具有显著的优势。我们的模型和代码将公开。

1 引言

2 相关工作

3 地标嵌入

4 实验

5 结论

在本文中，我们提出了一种新的方法，即里程碑嵌入，它有助于长上下文语言建模的检索增强。新方法的特点是其无分