FlashRAG复现指南

已于 2024-12-16 11:52:18 修改
阅读量2.2k 收藏 48
点赞数 42
文章标签： python 语言模型 机器学习
于 2024-12-15 20:07:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_60719139/article/details/144488381
版权

前言：

由于我的一门课程需要用FlashRAG来跑数据集。我在复现的过程中也是遇到了各种各样的坑，特别是环境的搭建和配置的填写。最后还是跑成功了。于是，就想着和大家分享一下复现的经验。有任何问题，或是理解错误的地方，也欢迎大家指出。谢谢。

1.环境配置：

我这里用的是conda环境，创建的时候使用python3.9+（我用的3.9.20）。

1.clone

打开anaconda prompt 运行 conda activate （你创建的环境名）后面所有涉及终端的操作，都需要进入你的conda环境去运行。也就是命令行前面有个（你的conda环境名）我这里是succ

进入一个你想要存放FlashRag的目录，然后运行 

git clone https://github.com/RUC-NLPIR/FlashRAG.git

然后  进入该目录

cd FlashRAG

运行

pip install -e .

2.pycharm配置环境

进入File->setting 

project->python Interpreter

点击 add Interpreter

这里在conda executable选择你的conda安装路径，然后下面选择你的环境

然后pycharm就ok了

3.下载配置

以下这些可以选择选择下载，全部不下载也可以运行，vllm等只是加速运行。且vllm上有个模块triton需要linux环境。于是我都没有使用。

# Install all extra dependencies
pip install flashrag[full]

# Install vllm for faster speed
pip install vllm>=0.4.1

# Install sentence-transformers
pip install sentence-transformers

# Install pyserini for bm25
pip install pyserini

选择cpu或者gpu版本的faiss安装

# CPU-only version
conda install -c pytorch faiss-cpu=1.8.0

# GPU(+CPU) version
conda install -c pytorch -c nvidia faiss-gpu=1.8.0

安装PyTorch<-点击其进入网站

搜索cmd，点击命令提示符

运行

nvidia-smi 

然后可以看见CUDA Version 然后上面PyTorch网站中的选项 Computer platform可以选择cuda版本小于本机版本的，我可以选择12.4 12.1都可以

然后我运行网站生成的命令（这里运行你们自己对应生成的）

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

然后到了这里基本环境就配置ok了，如果遇到什么报错可以尝试去搜一下。我在这里放出我的conda全部插件的版本，大家可以参考一下，毕竟很容易遇到版本冲突的问题。

4.下载模型

FlashRag作者推荐下载以下两个模型:

- E5-base-v2
- Llama2-7B-Chat

模型的下载可以通过[Huggingface](https://huggingface.co/intfloat/e5-base-v2)。如果是中国用户，推荐使用镜像平台[hf-mirror](https://hf-mirror.com/)进行下载。

我选择下载了E5-base-v2（进入FlashRag 运行 git clone https://hf-mirror.com/intfloat/e5-base-v2）， BAAI/bge-small-zh-v1.5（git clone https://hf-mirror.com/BAAI/bge-small-zh-v1.5），Qwen/Qwen1.5-0.5B-Chat（git clone https://hf-mirror.com/Qwen/Qwen1.5-0.5B-Chat）。

2.运行demo：

1.配置demo_zh.py

在FlashRAG\examples\quick_start\demo_zh.py有一个demo_zh.py 和\FlashRAG\examples\quick_start\demo_en.py 有一个demo_en.py分别是中文demo和英文demo。这里我们以中文demo举例子。

在config里面需要填写自己想用的生成器模型和检索器模型和其地址。

config_dict = {
    "save_note": "demo",
    "generator_model": "qwen-14B", //填写你要用的模型，得上一步已经下载的
    "retrieval_method": "bge-zh", //填写你要用的模型，得上一步已经下载的
    "model2path": {"bge-zh": "D:/FlashRAG/bge-small-zh-v1.5", "qwen-14B": "D:/FlashRAG/Qwen1.5-0.5B-Chat"}, //填写绝对地址 记得都要使用/，不能用\
    "corpus_path": "indexes/general_knowledge.jsonl",//这个我是用默认文档集作者提供的，你们那里也会有
    "index_path": "indexes/bge-zh_Flat.index", //这个index我后面会告诉你如何生成
如果你使用的是模型，作者有提供默认index，在../examples/quick_start/indexes/e5_Flat.index使用其他检索器的看我下一步 生成index 生成完成后的index填这里就ok了。

}

2.生成index

进入FlashRAG\flashrag\retriever下

我们需要做的是创建一个名为run_indexing.bat的文件（或者其他名字也行），然后根据你想要用的模型去填写。FlashRAG\docs\building-index.md这里是作者关于生成index的讲解，你如果需要用到sentence transformers插件，就可以按照里面的模板去填写。这里我放到其他index里面了

python -m flashrag.retriever.index_builder ^
    --retrieval_method e5 ^
    --model_path D:/FlashRAG/e5-base-v2 ^ //模型路径
    --corpus_path D:/FlashRAG/examples/quick_start/indexes/general_knowledge.jsonl ^ //语料库，这里我用作者提供默认的
    --save_dir D:/FlashRAG/examples/methods/index/nq ^ //储存的位置
    --use_fp16 ^
    --max_length 512 ^
    --batch_size 256 ^
    --pooling_method mean ^
    --faiss_type Flat

填写完以后，命令行进入FlashRAG\flashrag\retriever下，运行刚刚写出来的run_indexing.bat

运行成功，就会出现以下结果，然后在你刚刚填的--save_dir D:/FlashRAG/examples/methods/index/nq ^ //储存的位置 就会出现该index。

index和检索器模型和语料库文档也就是corpus有关，如果你用相同的模型，相同的语料库去跑不同的数据集。就不用去重新生成index。

3.其他index

If the retrieval model support `sentence transformers` library, you can use following code to build index (**no need to consider pooling method**).

```bash
python -m flashrag.retriever.index_builder \
    --retrieval_method e5 \
    --model_path /model/e5-base-v2/ \
    --corpus_path indexes/sample_corpus.jsonl \
    --save_dir indexes/ \
    --use_fp16 \
    --max_length 512 \
    --batch_size 256 \
    --pooling_method mean \
    --sentence_transformer \
    --faiss_type Flat 
```
#### For sparse retrieval method (BM25)

If building a bm25 index, there is no need to specify `model_path`.

##### Use BM25s to build index

```bash
python -m flashrag.retriever.index_builder \
    --retrieval_method bm25 \
    --corpus_path indexes/sample_corpus.jsonl \
    --bm25_backend bm25s \
    --save_dir indexes/ 
```

##### Use Pyserini to build index

```bash
python -m flashrag.retriever.index_builder \
    --retrieval_method bm25 \
    --corpus_path indexes/sample_corpus.jsonl \
    --bm25_backend pyserini \
    --save_dir indexes/ 
```

4.配置config

打开\FlashRAG\examples\methods\my_config.yaml 这个文件

model2path:  //填写可能用到的模型，及其本地路径，注意需要使用/
  e5: "D:/FlashRAG/ab/e5-base-v2"
  bge: "D:/FlashRAG/bge-small-zh-v1.5"
  contriever: "facebook/contriever"
  llama2-7B-chat: "D:/Users/15597/FlashRAG/Llama-2-7b-chat-hf"
  llama2-7B: "D:/FlashRAG/Llama-2-7b-chat-hf"
  llama2-13B: "D:/FlashRAG/Llama-2-7b-chat-hf"
  llama2-13B-chat: "D:7/FlashRAG/Llama-2-7b-chat-hf"
  llama3-8B-instruct: "D:7/FlashRAG/Llama-2-7b-chat-hf"
  Qwen1.5-0.5B-Chat: "D:/FlashRAG/Qwen1.5-0.5B-Chat"
  Qwen2-0.5B: "D:/FlashRAG/Qwen2-0.5B" 
method2index:
  e5: "D:/FlashRAG/examples/methods/index/nq/e5_Flat.index"//填写上一步处理好的index，别忘了demo_zh.py中也需要添加
  bm25: ~
  contriever: ~

# Directory paths for data and outputs
data_dir: "D:/FlashRAG/examples/methods/dataset/wiki" //数据集路径，但是运行demo不涉及这个，可以改，后面跑训练集的时候会说
save_dir: "D:/FlashRAG/examples/methods/output/" //这个是训练结果存放的地方

# -------------------------------------------------Retrieval Settings------------------------------------------------#
# If set the name, the model path will be find in global paths
retrieval_method: "e5"  # name or path of the retrieval model.  //填写检索器模型
index_path: "D:/FlashRAG/examples/methods/index/nq/e5_Flat.index" # set automatically if not provided. //填写index
faiss_gpu: True # whether use gpu to hold index //看你的faiss是否支持gpu
corpus_path: "D:/FlashRAG/examples/quick_start/indexes/general_knowledge.jsonl"  # path to corpus in '.jsonl' format that store the documents

framework: hf # inference frame work of LLM, supporting: 'hf','vllm','fschat' //由于没有使用vllm，所以填hf
generator_model: "D:/FlashRAG/Qwen2-0.5B" # name or path of the generator model //生成器模型
generator_max_input_len: 2048  # max length of the input
generator_batch_size: 2 # batch size for generation, invalid for vllm
generation_params:
  do_sample: True
  max_tokens: 32
use_fid: False # whether to use FID, only valid in encoder-decoder model

5.运行demo.py

命令行（需要conda环境下）进入cd examples/quick_start这个路径下

运行

streamlit run demo_zh.py

如果是demo_en

streamlit run demo_en.py

命令行显示：

浏览器显示：

然后就可以简单使用这个rag算法及你使用的模型来使用。

3.跑训练集：

对于一些需要使用额外模型的方法，需要额外的步骤。具体可以参考\FlashRAG\docs\reproduce_experiment_zh.md

这里就不在赘述。

1.训练集格式：

这里就用作者提供的训练集（../examples/quick_start/dataset/nq/）和index，e5检索器来做一个示范。若想要用其他数据集可以去RUC-NLPIR/FlashRAG_datasets · Datasets at Hugging Face下载，语料库文档也是（RUC-NLPIR/FlashRAG_datasets at mainRUC-NLPIR/FlashRAG_datasets at mainRUC-NLPIR/FlashRAG_datasets at main）。当然使用了新的语料库就需要重新构建index。

如果要自己处理训练集，则需要处理为以下格式：

通常训练集由以下3个jsonl组成（dev，train，test）

以下是作者原话。

所有使用的代码都基于仓库的 [example/methods](../examples/methods/)。我们为各种方法设置了适当的超参数。如果你需要自己调整它们。
首先，你需要在 `my_config.yaml` 中填写各种下载的路径。具体来说，你需要填写以下四个字段：
- **model2path**：用你自己的路径替换 E5 和 Llama3-8B-instruct 模型的路径
- **method2index**：填写使用 E5 构建的索引文件的路径
- **corpus_path**：填写 `jsonl` 格式的 Wikipedia 语料库文件的路径
- **data_dir**：更改为你自己的数据集下载路径

2.处理config

需要更改\FlashRAG\examples\methods\my_config.yaml下的各个设定，设置成你想跑的模型，数据集。其实改这个周围都有英文注释。比较重要的其实就是数据集在哪，模型在哪，index在哪，用哪个模型当检索器，用哪个模型当检索器，这几个主要参数的填写，这里我就不细说了，大家可以看我的和默认的我改了哪些，然后你改成你路径下，你想用的就ok了。

然后config就处理完成了。

3.处理.bat

主要是通过运行\FlashRAG\examples\methods\run_exp.py文件来进行文件的训练，其需要我们输入一些参数来调动我们希望使用的方法，和训练的训练集。

有以下几种方法

naive zero-shot AAR-contriever llmlingua recomp selective-context sure replug skr flare iterretgen ircot trace

在\FlashRAG\examples\methods/下创建run_model2.bat文件

python run_exp.py --method_name naive ^  //方法之一，你可以填你想用的
                  --split test ^ //指定数据集的分割类型为 test，通常表示验证集。如果是跑测试
                  --dataset_name D:/FlashRAG/examples/methods/dataset/nq ^//你想跑的数据集位置，如果是作者提供的nq，你就写你电脑上nq的位置。
                  --gpu_id 0,1,2,3

然后控制台进入FlashRAG\examples\methods/运行run_model2.bat

这就是在跑训练集了，上面几行输出是我自己改代码的，你们没有很正常。

对应位置就会出现如下输出，包括指标什么的。

好了，到了这一步大家也基本理解该如何替换各个部分，然后去个性化训练自己的数据集和模型。

4.遇到的问题：

1.权限问题

在3.跑训练集中的3.处理.bat中，显示faiss没权限，当时我找了很多解决办法，有的说路径不能有中文，这个我排除了。

然后文件属性安全也全开权限。

管理员模式运行也不行

然后我尝试用代码去排除问题。

大家看出什么问题了吗

我在尝试读取一个文件夹，那怎么可能不报错对吧。还是太粗心了。

以下2个要填index路径的，被我填写成了e5的路径。当然我上面写的步骤已经帮大家规避了这个问题。

2.OMP问题

报错OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.

解决方法：

1. 确认只有一个版本的 libiomp5md.dll

搜索系统中的 libiomp5md.dll 文件。

删除或重命名重复的 libiomp5md.dll 文件，确保程序只加载一个版本。

2. 设置环境变量避免冲突

如果无法解决冲突，可以设置 KMP_DUPLICATE_LIB_OK 环境变量作为临时解决方案：

命令行设置（临时生效）：

cmd打开命令行

输入set KMP_DUPLICATE_LIB_OK=TRUE

永久设置（Windows 系统）：

打开 控制面板 > 系统 > 高级系统设置。

点击 环境变量。

新增系统变量：

名称：KMP_DUPLICATE_LIB_OK

值：TRUE

⚠️ 注意：此方法只是临时规避问题，可能导致性能下降或错误结果，不推荐作为长期解决方案。

3. 避免加载冲突的库

我这里选择了永久设置。不想再升级插件，到时候又出现不兼容，秉承着能用就不改的原则。

5.个人总结

在完成整个复现的过程，我深深感受到复现这个项目对于没有人工智能基础的人来说的困难。各种配置上的报错，插件之间不兼容，配置文件填写的要求。包括我一开始甚至没下载模型到本地就想跑通（实在是异想天开）。所以我也写了这个FlashRAG复现指南，希望可以帮助到大家。然后大家记得多读文档。在\FlashRAG\docs下，有作者提供的大量文档（我也是吃了一开始没看到的亏，导致遇到很多问题），然后还有\FlashRAG\README.md。本文也是基于以上文档调试出来的经验。感谢观看！

lzs915
关注
FlashRAG：可能是最全的、最快搭建RAG的开源框架
南七小僧的学海无涯
12-05 454
尽管已有多种创新算法和模型被提出以提升 RAG 系统的性能，但由于缺乏统一的标准化框架，加之 RAG 过程的复杂性，研究人员在一致环境中比较和评估这些方法面临挑战。为了应对这一挑战，本篇论文作者推出了FlashRAG，这是一个开源库，旨在帮助研究者轻松复现现有的RAG方法，并开发他们自己的RAG算法。该库允许研究者利用构建好的管道复现现有工作，使用提供的RAG组件构建自己的流程，或利用组织好的数据集和语料库加速他们的RAG工作流程。在流程层面，根据RAG发展的现状，实现了8种常见的RAG流程。
人民大学研究团队发布FlashRAG工具包，为RAG研究提供标准化高效解决方案，赋能研究全流程
2401_84208172的博客
12-18 1145
简单来说，RAG是一种将大语言模型 (LLM) 与外部知识库结合的技术。LLM就像一个见多识广的语言专家，能说会道，但它有时也会“一本正经地胡说八道”，也就是我们常说的“幻觉问题”。这是因为LLM的知识来源于训练数据，而训练数据不可能涵盖所有信息，这就导致了LLM在面对一些特定问题时可能会“信口开河”。
RAG工具：FlashRAG用于高效 RAG 研究的 Python 工具包
python12345_的博客
11-04 1385
FlashRAG 是一款专为 RAG 研究开发的 Python 工具包，它帮助研究者和开发者更方便地再现和开发检索增强生成的各类应用。该工具包集成了高效的检索与生成组件，旨在让用户能够快速搭建 RAG 系统，从而探索文本生成、信息检索、回答生成等任务的各种可能性。FlashRAG 的核心优势在于简洁且高效的 API，它能够兼容现有的多种检索模型和生成模型。同时，它的模块化设计让用户能够自由定制检索和生成流程，方便根据不同应用需求进行调整。
FlashRAG
AI工程化、开源分享、文档翻译、代码笔记
05-29 1998
一、关于 FlashRAG 特点 ✨ 🔧 安装 二、快速入门🏃 1、Toy Example 2、使用现成的管道 3、建立自己的管道 4、只需使用组件 三、组件⚙️ 1、RAG 组件 2、管道 四、支持方法🤖 五、支持数据集📓 六、其他常见问题解答 🙌
RAG框架大总结：GraphRAG与传统RAG，27个框架一览无遗！
2401_84495872的博客
03-10 1022
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
FlashRAG：一个高效的用于研究RAG的模块化工具包
m0_59235945的博客
06-28 1104
为了应对研究人员在RAG领域复现研究和高开发成本方面面临的挑战，我们引入了一个模块化的RAG工具包FlashRAG。我们的工具包包括全面的RAG基准数据集、先进的RAG方法实现以及用于预处理语料库和多个评估指标的代码。它使研究人员能够轻松地复现现有的RAG方法，开发新的算法，并专注于优化他们的研究。相信FlashRAG能为RAG研究领域提供有力的支持和帮助。
手把手代码复现Self RAG
m0_59235945的博客
08-07 2520
尽管大型语言模型(LLM)具有出色的能力，但由于它们完全依赖于其所包含的参数化知识，往往会产生包含事实错误的回答。所以现在很多人开始使用检索增强生成(RAG)方法，通过检索相关知识来增强LM，从而减少这些问题。但RAG本身也存在很多难点，例如召回文档不准确、大模型的整理能力有限、大模型虚构等，受这些问题影响，RAG的回答也可能不准确。所以近期有学者提出了Slef RAG的方法，该方法通过按需检索和自我反思来改进LLM的生成质量。
FlashRAG-Paddle | 基于PaddleNLP的高效开发与评测RAG框架
百度大脑
11-26 245
产品亮点1. FlashRAG-Paddle：组件化、模块化的RAG框架全面且可定制的RAG框架，集成检索器、重排序器、生成器和压缩器等核心组件，提供36个基准数据集和9种先进算法，辅以高效预处理脚本，简化流程，轻松实现复杂RAG场景下的模型测试与验证。2. PaddleNLP: 超大Batch嵌入表示学习和多硬件高性能推理PaddleNLP提供一站式大语言模型解决方案，支持超大Batch嵌入学习...
15 个最佳开源 RAG 框架评析
FeelTouch Labs
04-13 857
RAG 在 2025 年仍然至关重要，因为它是增强 LLM 功能的最佳技术，无论其规模和上下文窗口如何。本文探讨了当今可用的顶级开源 RAG 框架，重点介绍了它们的独特功能、优势以及如何将它们集成到您的 AI 应用程序中。
Google使用AI改进了 Sheets；开源视觉语言模型llama3v；开源情绪语音模型ChatTTS；
haleycat的博客
05-29 1185
ChatTTS 是一款专为对话场景设计的文本转语音（Text-to-Speech, TTS）模型，特别适用于大语言模型（LLM）助手。AnyNode 是一个集成在 ComfyUI 中的节点插件，利用大语言模型（LLM）的强大功能，根据你的输入生成任何类型的输出。AnyNode 的最大特点是它能够自动生成Python函数，基于提供的输入和输出需求来完成特定的任务。AnyNode 为用户在 ComfyUI 中创建自定义处理节点提供了极大的灵活性和便利性，是一款功能强大的插件工具。
Chain-of-Retrieval Augmented Generation-(CoRAG，链式检索增强生成)论文解读
最新发布
weixin_38252409的博客
05-09 1006
本文提出了一种名为CoRAG（链式检索增强生成）的训练方法，用于提升RAG模型在复杂查询任务中的表现。与传统RAG仅进行单次检索不同，CoRAG通过动态调整查询并逐步检索推理，实现信息的迭代获取。为训练该模型，研究者采用拒绝采样技术自动生成中间检索链条，以扩展现有数据集。实验表明，CoRAG在多跳问答任务中显著优于基线模型，EM分数提升超10分，并在KILT基准中多个知识密集型任务上达到新的SOTA性能。
2025年，20个最值得关注的RAG框架，部分开源
m0_59235699的博客
01-30 3787
分享20个值得关注的RAG框架。检索增强生成（RAG）框架通过整合检索机制与生成模型，有效推动了大型语言模型（LLM）的发展。现在，各界对人工智能解决方案的需求日益旺盛，在 GitHub 上涌现出了诸多开源 RAG 框架，各具特色与功能。知识检索：作为核心功能，它可从外部知识库获取相关信息，为大型语言模型提供必要的上下文支持。生成模型增强：借助检索所得信息对大型语言模型的输入进行优化，促使模型生成的回复更精准、更具时效性且契合上下文。
2024年十大开源RAG框架
m0_59164304的博客
10-26 2607
检索增强生成（RAG）已成为增强大型语言模型能力的一项强大技术。RAG框架结合了基于检索系统的优点与生成模型的优势，能够提供更准确、更具上下文感知能力以及更及时的响应。随着对复杂AI解决方案的需求增长，许多开源的RAG框架在GitHub上涌现，每个框架都提供了独特的功能和能力。检索增强生成（RAG）是一种人工智能框架，通过整合外部知识源来增强大型语言模型（LLM）的能力。RAG通过从知识库中检索相关信息并利用这些信息来增强LLM的输入，从而使得模型能够生成更准确、更及时且更符合上下文的相关响应。
10个最流行的RAG开发框架
新缸中之脑
10-27 4078
检索增强生成 (RAG) 已成为增强大型语言模型功能的强大技术。RAG 框架将基于检索的系统与生成模型的优势相结合，从而实现更准确、更了解上下文和更最新的响应。随着对复杂 AI 解决方案的需求不断增长，GitHub 上出现了许多开源 RAG 框架，每个框架都提供独特的功能和能力。简化的RAG 工作流程检索增强生成 (RAG) 是一种 AI 框架，它通过整合外部知识源来增强大型语言模型 (LLM) 的功能。
检索增强生成（RAG）技术与应用的全景图
AI人工智能的学习之路
02-24 895
检索增强生成（RAG）是人工智能领域中一种先进技术，它将大型语言模型（LLMs）的能力与实时数据检索相结合，以提供上下文相关且最新的响应。这种方法解决了传统LLMs的局限性，这些模型通常依赖于静态的预训练数据，导致输出内容过时或不准确。RAG系统通过从外部知识源动态检索信息，如知识库、API或网络，增强了响应的相关性和时效性。
10 个顶级的 RAG 框架，开源的
star_nwe的博客
01-24 4076
检索增强生成（RAG）已成为一种强大的技术，用于增强大型语言模型的能力。RAG框架结合了基于检索的系统的优点和生成模型的优点，能够提供更准确、更具上下文意识且更及时的响应。随着对复杂AI解决方案的需求不断增长，GitHub上出现了许多开源的RAG框架，每个框架都提供了独特的功能和能力。
Github上的十大RAG(信息检索增强生成)框架
2401_85379281的博客
11-01 901
RAG框架正在快速发展,呈现出百花齐放的盛况。从功能全面、久经考验的Haystack,到专注领域创新的FlashRAG和R2R,各具特色的框架为不同需求和应用场景提供了优质的选择。在评估和选型RAG框架时,我们需要综合考虑以下因素:项目的具体需求和约束所需的定制化和灵活性框架的可扩展性和性能表现框架背后社区的活跃度和贡献度文档和技术支持的完备性通过系统评估并实际尝试不同的框架,我们可以找到最契合自身需求的RAG解决方案,用于构建更加智能、全面、有洞察力的人工智能应用。
2024年十大 RAG 框架 Github Repos
qingkahui24689的博客
12-13 1294
检索增强生成（RAG）已经成为增强大型语言模型功能的强大技术。它结合了基于检索的系统的优势和生成模型，实现更准确、上下文感知和最新的响应。GitHub上出现了许多开源的RAG框架，每个框架都有独特的特点和功能。关键要点RAG是一个AI框架，通过整合外部知识源来增强大型语言模型的功能。RAG与LangChain不同，它提供了更好的外部知识整合、准确性提升、定制性和可解释性。
Traceback (most recent call last): File "/new_disk3/chen_zhang/zc/FlashRAG/A330/test.py", line 14, in <module> se = DuckDuckGoSearchEngine() ^^^^^^^^^^^^^^^^^^^^^^^^ File "/new_disk3/chen_zhang/zc/FlashRAG/A330/test.py", line 5, in __init
04-01
### 关于 Python 中 DuckDuckGo Search Engine 初始化错误的分析 在处理 `DuckDuckGoSearchEngine` 类的初始化错误时，通常会遇到与依赖库配置不当、环境变量缺失或网络连接问题有关的情况。以下是对此问题的具体解析： #### 可能原因 1：依赖库版本冲突 如果使用的 `duckduckgo_search` 或其他相关库版本较旧，则可能导致初始化失败。建议更新到最新版本以修复潜在 bug。 ```bash pip install --upgrade duckduckgo-search ``` 此操作可确保安装的是支持当前功能需求的稳定版[^1]。 #### 可能原因 2：API 密钥未正确设置 部分实现可能需要 API 密钥才能正常使用服务。如果没有提供密钥或者密钥无效，就会引发初始化错误。可以通过以下方式验证并重新设定密钥： ```python from duckduckgo_search import DDG ddg = DDG(api_key="your_api_key_here") # 替换为实际有效的密钥 results = ddg.text("example query") print(results) ``` 注意此处需替换 `"your_api_key_here"` 为你从官方渠道获取的真实值[^2]。 #### 可能原因 3：网络请求超时或其他异常 当尝试访问外部资源而遭遇防火墙阻挡或是目标站点暂时不可达等情况时，也可能抛出类似的追踪回溯信息(`traceback`)。增加重试机制以及调整超时时限有助于缓解这类状况。 示例代码如下所示： ```python import requests from duckduckgo_search import DDG session = requests.Session() adapter = requests.adapters.HTTPAdapter(max_retries=3) session.mount('https://', adapter) def custom_request(url, **kwargs): try: response = session.get(url, timeout=10, **kwargs) response.raise_for_status() return response.json() except Exception as e: raise RuntimeError(f"Request failed: {e}") DDG._request_func = staticmethod(custom_request) # 动态注入自定义请求函数 search_engine = DDG() data = search_engine.text(query='test') if data['error']: print(data['error']) else: for r in data['results'][:5]: print(r['title'], '-', r['url']) ``` 上述片段展示了如何通过增强型 HTTP 请求逻辑提升程序健壮性的方法[^3]。 --- ### 总结 针对 `DuckDuckGoSearchEngine` 初始阶段发生的错误，应着重排查以下几个方面： - 是否存在过期/不兼容的软件包； - 所需认证参数是否齐全且有效； - 当前运行环境下能否顺利达成对外部接口的成功调用。 希望以上指导能够帮助快速定位并解决问题！
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值