late-chunking：长上下文嵌入模型中的后期分块处理

late-chunking：长上下文嵌入模型中的后期分块处理

late-chunking Code for explaining and evaluating late chunking (chunked pooling) 项目地址: https://gitcode.com/gh_mirrors/la/late-chunking

项目介绍

Late Chunking 是一种创新的长上下文嵌入模型处理技术，旨在解决传统文本分块在处理长文档时遇到的问题。在许多应用中，将整个文本文档编码为单个嵌入表示并不实用，因为嵌入向量信息容量有限，而很多应用需要检索文本的更小部分。Late Chunking 利用最新嵌入模型处理长输入序列的能力，通过在处理文本时保持上下文敏感性，从而提高文本检索和生成任务的效果。

项目技术分析

Late Chunking 的核心在于利用现代嵌入模型如 jina-embeddings-v2-base-en 处理长输入序列的能力。这些模型可以处理长达 8192 个令牌的输入文本，约等于十页标准文本。这种方法的优势在于，长文本片段不太可能存在仅通过更大上下文才能解决的联系依赖问题。

传统的文本分块方法在分块前就通过句子、段落和最大长度限制来分割文本，然后对结果块应用嵌入模型。而 Late Chunking 首先对整个文本或尽可能大的文本部分应用嵌入模型的转换器部分，生成每个令牌的向量表示，这些向量包含了整个文本的信息。然后，通过对这些令牌向量的较小片段应用均值池化，生成每个块的嵌入表示，这使得每个块的嵌入都考虑到了整个文本。

项目及技术应用场景

Late Chunking 特别适用于需要检索和生成基于长文档内容的场景，如信息检索、机器翻译、问答系统和文档摘要等。例如，在检索增强生成（RAG）系统中，Late Chunking 能有效处理长距离上下文依赖问题，这在处理长篇文章或文档时尤为重要。

在 RAG 系统中，传统的方法可能会将文档分割为句子长度的块，这可能导致无法回答涉及跨块信息的查询。而 Late Chunking 通过在嵌入表示中保留上下文信息，使得能够更好地匹配和生成与查询相关的文本。

项目特点

1. 上下文敏感性：通过在整个文本上应用嵌入模型，Late Chunking 能够生成考虑整个文档上下文的嵌入表示，从而在文本检索任务中提高匹配质量。

2. 灵活的分块：与传统的预先定义分块大小的方法不同，Late Chunking 允许更灵活的分块策略，以适应不同的应用需求。

3. 提高检索效率：在实际的检索任务中，Late Chunking 表现出优于传统分块方法的性能，特别是在处理长文档时。

4. 易于集成：Late Chunking 可以与现有的嵌入模型和检索系统无缝集成，无需大规模修改现有架构。

以下是在不同数据集上的实验结果对比，展示了 Late Chunking 的性能提升：

| 数据集 | 平均文档长度（字符） | 传统分块（nDCG@10） | Late Chunking（nDCG@10） | 无分块（nDCG@10） | |-----------|---------------------|---------------------|--------------------------|-------------------| | SciFact | 1498.4 | 64.20% | 66.10% | 63.89% | | TRECCOVID | 1116.7 | 63.36% | 64.70% | 65.18% | | FiQA2018 | 767.2 | 33.25% | 33.84% | 33.43% | | NFCorpus | 1589.8 | 23.46% | 29.98% | 30.40% | | Quora | 62.2 | 87.19% | 87.19% | 87.19% |

从实验结果可以看出，Late Chunking 在大多数情况下都提高了检索性能，有时甚至超过了无分块的处理方式。

如果您想在自己的项目中尝试 Late Chunking，可以通过安装相关依赖并运行提供的脚本来评估其效果。只需执行以下命令即可：

python3 run_chunked_eval.py --task-name {TASK_NAME}

通过 Late Chunking，开发者可以在处理长文档时获得更好的检索和生成效果，为各种文本密集型应用提供强大的支持。

late-chunking Code for explaining and evaluating late chunking (chunked pooling) 项目地址: https://gitcode.com/gh_mirrors/la/late-chunking