Investigating Retrieval-Augmented Generation in Quranic Studies: A Study of 13 Open-Source LLM

文章主要内容总结

研究背景

针对通用大语言模型在宗教领域（如古兰经研究）回答问题时存在的幻觉问题和准确性不足，本研究提出结合检索增强生成（RAG）框架，通过集成领域特定知识（古兰经章节描述数据集）提升回答的上下文相关性、忠实性和准确性。

研究方法

1. 数据集：基于古兰经114章的描述性书籍，包含每章的历史背景、核心主题、美德等结构化信息。
2. 模型评估：对比13个开源LLM（大、中、小三类）在RAG框架下的表现，包括Llama3系列（70B/8B/3B）、Gemma2系列（27B/9B/2B）、QwQ（32B）、Phi系列（3.8B）等。
3. 评估指标：由人类评估者根据上下文相关性、回答忠实性、回答相关性三个维度评分。

主要发现

1. 模型性能：
   • 大模型（如Llama3:70B）在综合指标上表现最优，但计算资源消耗大。
   • 小模型Llama3.