A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

本文是LLM系列文章，针对《CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models》的翻译。

摘要

检索增强生成（RAG）是一种通过引入外部知识源来增强大型语言模型（LLM）能力的技术。这种方法解决了LLM的常见局限性，包括过时的信息和产生不准确“幻觉”内容的趋势。然而，评估RAG系统是一个挑战。大多数当前的基准测试主要集中在问答应用程序上，而忽略了RAG可能有益的更广泛的场景。此外，他们在实验中只评估了RAG管道的LLM组件的性能，而忽略了检索组件和外部知识数据库构建的影响。为了解决这些问题，本文构建了一个大规模、更全面的基准，并在各种RAG应用场景中评估了RAG系统的所有组件。具体来说，我们指的是描述用户和知识库之间交互的CRUD操作，还将RAG应用程序的范围划分为四种不同的类型——创建、读取、更新和删除（CRUD）。“创建”是指需要生成原创、多样化内容的场景。“阅读”包括在知识密集的情况下回答复杂的问题。“更新”侧重于修订和纠正已有文本中的不准确或不一致之处。“删除”是指将大量文本概括成更简洁的形式。对于这些CRUD类别中的每一个，我们都开发了不同的数据集来评估RAG系统的性能。我们还分析了RAG系统的各个组成部分的影响，如检索器、上下文长度、知识库构建和LLM。最后，我们为针对不同场景优化RAG技术提供了有用的见解。

1 引言

2 相关工作

3 CRUD-RAG：一个全面的中文RAG基准

4 实验

5 结论

在本文中，我们介绍了一个创新框架（CRUD-RAG），用于评估综合的和