巅峰对决 LlamaIndex 与 OpenAI API大比拼

 我们进行了一项详尽的分析，比较了 OpenAI 助手 API 和 LlamaIndex 在 RAG 性能方面的差异。目的是使用Tonic Validate评估各种RAG系统，该系统是一个RAG评估和基准平台，同时使用开源工具tvalmetrics。本文中使用的所有代码和数据都可以在这里找到。简单来说，Llamaindex目前在速度上大幅领先（尤其是在处理多个文档方面）。几个关键的发现包括：

多文档处理：在处理多个文档时，助手 API 的表现不尽人意。而 LlamaIndex 在这方面表现出色。

单文档处理：当文档被合并成一个*单一*文档时，助手 API 的性能有显著提升，在这方面略胜一筹于 LlamaIndex。

速度对比：“处理五份文档只用了七分钟，而 OpenAI 的系统在相同条件下几乎要花上一个小时。

”稳定性：“相比于 OpenAI 的系统，LlamaIndex 显著降低了崩溃的风险”

介绍

上周，我们测试了OpenAI的Assistants API，并发现其在处理多个文档时存在一些主要问题。然而，为了更好地评估其性能，我将比较OpenAI的Assistants RAG与另一个流行的开源RAG库LlamaIndex。让我们开始吧！测试OpenAI的Assistants RAG 在先前的文章中，我们已经设置了OpenAI的Assistants RAG。您可以在此处查看原始设置。这是一个提醒：我们的测试集使用了212篇Paul Graham的文章。最初，我们尝试将所有212篇文章上传到RAG系统，但发现OpenAI的RAG将上传限制在最多20个文档。为了解决这个问题，我们将这212篇文章分成五组，并为每组创建了一个单独的文件，总