RAG 中的语义分块：实现更优的上下文检索

检索增强生成（RAG）技术异军突起，席卷了整个大语言模型领域。通过将大语言模型（LLMs）的强大能力与外部知识检索相结合，RAG使得模型能够生成准确且有依据的回复，即便在专业领域也不例外。在每一个表现卓越的RAG流程背后，都有一个默默发挥关键作用的 “英雄”：分块技术，尤其是语义分块。

RAG生态系统与分块的作用

RAG代表了人工智能系统获取和利用知识方式的重大变革。传统的大语言模型仅依赖于其预先训练的知识，这可能存在局限性或时效性问题。RAG通过在生成过程中从外部资源（如数据库、文档或互联网）检索相关信息，很好地解决了这一局限性。这些外部知识就像补充弹药，极大地扩展了模型的知识边界，使其能够应对各种复杂问题。

在RAG流程中，分块是至关重要的一环。分块指的是在对文档进行嵌入和索引之前，将其分割成较小单元的过程。这些分块在查询时被检索出来，并输入到大语言模型中用于生成回复。然而，分块并非简单的切割操作，其方式直接影响着RAG系统的性能。如果分块过大，它们可能无法适配模型的上下文窗口，导致信息丢失；而如果分块过小或分割不当，语义信息会被破坏，使模型难以理解和处理，进而影响最终回复的质量。

分块面临的挑战

以一段医学文章为例，假设内容如下：“蝙蝠侠主要在哥谭市活动，这是一个犯罪猖獗、腐败横行的大都市。他的宿敌小丑在混乱和不可预测中如鱼得水。尽管布鲁斯·韦恩资助了哥谭市的许多社会项目，但他仍在为自己作为亿万富翁和义警的双重身份而苦苦挣扎。” 如果使用简单的分块方法，可能会将其分割为：

• 分块1：“蝙蝠侠主要在哥谭市活动，这是一个犯罪猖獗的”

• 分块2：“大都市，腐败横行。他的宿敌小丑，”

• 分块3：“在混乱和不可预测中如鱼得水。尽管布鲁斯·韦恩”