embeddings在使用硅基流动RAG的时候，报错，则专用Ollama本地对数据进行RAG

最新推荐文章于 2025-10-11 19:08:57 发布

原创最新推荐文章于 2025-10-11 19:08:57 发布 · 320 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#RAG

[models] Bad Request Error, 429 Client Error:Too Many Requests for url: https://api.siliconflow.cn/v1/embeddings

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

知1而N

关注关注

4
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Langchain构建Deepseek RAG知识库】Weaviate集成与知识库导入(最新版本)

少说，多做

03-18

324

随着数据量的不断增长，传统的搜索方法已无法满足用户对精准信息的需求。RAG作为一种新兴的信息检索方式，通过结合深度学习模型的生成能力与精确的信息检索技术，提供了一种全新的解决方案。而Weaviate作为一个高性能的向量搜索引擎，能够高效地存储和查询大规模的数据集，非常适合与RAG架构集成。为了便于处理和优化存储，我们首先需要定义一个文本分割器，用于将大段落的文本切割成更小的部分。这有助于提高后续步骤中生成嵌入向量的精度和效率。

19、RAG的原理及代码实战（2）pipeline介绍

Andy_shenzl的博客

02-07

817

需要注意的是，在RAG检索时，所有切分的文本，不管其长度是多少，都会转换为一个词向量，也就是每一个切片是一个词向量表示。如果不方便注册openai模型时，可以考虑使用国内在线词向量模型，当然也可以使用ollama等工具部署本地的词向量模型。相似度计算是指使用查询向量在嵌入模型生成的向量空间中检索与问题最相关的文本块。有了向量表示后，需要使用向量来计算不同向量之间的相似度，计算的方法有很多，这里以余弦相似度为例来介绍。这里以硅基流动的在线模型为例，需要的也可以注册使用。编写获取向量之间相似度计算的函数。

参与评论您还未登录，请先登录后发表或查看评论

ragflow报错处理- [ERROR]Fail to bind embedding model

旻的博客

03-23

1765

该报错由于知识库所选的embedding模型访问受限导致的，也就是说可能使用了非内置的模型制作数据，而那个模型使用不了。重新创建知识库使用内置embedding模型作处理。

zotero：如何快捷使用硅基流动(siliconflow)的deepseek？

炒茄子的博客

02-27

2576

3步部署智能文献库：①官网下载Zotero7→②插件市场一键安装Awesome GPT→③绑定硅基流动API密钥（免费获取）。💡AI秒级生成摘要/翻译/重点解析，文献处理效率提升200%！支持Windows/Mac，5分钟搭建科研智能工作流，论文党必备黑科技>>#科研神器 #文献革命 #AI加速器

如何处理模型API速率限制

日积月累，天道酬勤

09-16

8070

大模型免费api调用系列：硅基流动

湘潭大学-数学-范里明

02-19

1422

使用多家平台发现，是我发现的第一家同时提供免费的大模型api、嵌入模型api和重排序模型api的平台，很高兴跟大家分享这个消息，注册烦请填写邀请码：1qZVBGKZ，会赠送14元的额度用于付费的模型使用。这里分享通过python代码调用api输出内容的示例，其他代码也可参考官方给的示例哦。

当 DB-GPT 遇上 SiliconCloud：让开发者高效搭建自己的专属应用

DB_GPT的博客

12-21

1582

本文将分享如何通过DB-GPT使用SiliconCloud的模型，让用户体验到强大的多模型管理能力，灵活、可扩展的AI应用管理开发能力，以及在AI应用开发过程中提供全流程的更极致的用户体验。　

书生大模型基础岛第四关InternLM + LlamaIndex RAG 实践

m0_50315078的博客

11-26

1183

因为llamaindex使用本地需要冗杂的配置，并且下载了很久都没有反应，尤其是调用(时好时坏，我怀疑是NLTK那里出问题了，但是没有证据)，在学习完成RAG原理后我使用langchain实现了这个章节，这里embedding用到了豆包的embedding模型，需要自己去火山方舟引擎申请你自己的id和key，下一个章节我会使用llamaindex实现RAG。此时，信息提取的基本方式就是把问题也转换为向量，然后去和向量数据库中的各个向量进行比较，提取最接近的信息。在这一步的代码部分，我们会创建一个聊天模型。

RAG优化实战：业务场景驱动的 Embedding 模型量化评估

最新发布

herosunly的博客

10-11

2万+

本文详细介绍了RAG优化实战：业务场景驱动的 Embedding 模型量化评估，希望能对学习RAG的同学们有所帮助。文章目录 1. 前言 2. 构建测评数据集 3. 让候选模型“同台竞技” 4. 计算和比较相关性

LlamaIndex+InternLM RAG 实践(第四期)

qq_73754220的博客

11-07

1054

1. 前置知识正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考InternLM2技术报告。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类

【实操实录】从 0 到 1 搭一个能跑起来的 RAG 问答系统：从模型API调用配置、文档解析、文本处理、向量化存储到将复杂查询分解为子问题、查询意图识别、多跳问题处理等关键环节进行了详细说明

2402_87515571的博客

08-14

1553

本文是一篇关于构建基于RAG技术的问答系统的实践指南，从模型API调用配置、文档解析、文本处理、向量化存储到查询分解等关键环节进行了详细说明。重点介绍了如何申请DeepSeek和硅基流动的API密钥，处理不同格式文档的解析方法，以及将复杂查询分解为子问题的策略。文章还探讨了查询意图识别、多跳问题处理等话题，并提供了Python代码示例，适合刚开始学习NLP和RAG技术的新手开发者，通过具体实践案例帮助理解问答系统构建的全流程细节。

Zotero + Deepseek：解锁论文阅读效率提升的秘密武器

Arno_An的博客

02-14

2249

Zotero 是一款免费、开源的文献管理工具，广泛应用于学术研究和文献整理领域，尤其适合学术研究人员和学生。它的免费、开源和强大的功能使其在学术界广受欢迎。如下图，图片来源于Zotero网站。Zotero 可以与浏览器无缝集成，支持一键抓取网页上的文献信息（如标题、作者、出版年份、摘要等）。它还支持从数据库（如 PubMed、Web of Science、Google Scholar 等）直接导入文献。用户可以创建不同的文献库（Library），并根据需要对文献进行分类、标签化和分组管理。

SemanticKernel/C#：检索增强生成(RAG)简易实践

寒冰屋的专栏

08-02

158

SemanticKernel/C#：检索增强生成(RAG)简易实践

大模型实战基础（四）：4. LlamaIndex 外挂知识库 RAG 实践

Hyu_1998的博客

12-21

1224

目标：从0开始学习LLM平台：InternStudio开发机教程：书生大模型实战营提示：以下是基于书生大模型实战营（第四期）——基础岛：浦语+LlamaIndex 外挂知识库 RAG 实践的学习内容正式介绍检索增强生成（Retrieval Augmented Generation，RAG）技术以前，大家不妨想想为什么会出现这样一个技术。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。

书生大模型实战营-基础关卡-4-llamaindex+Internlm2 RAG实践

微风❤水墨

08-08

392

修改问题，重新再提问：至少知道我是写博客的了。data下添加一个介绍我csdn的文档。先试试官方的示例：无RAG。先试试官方的示例：有RAG。

硅基流动 SiliconCloud × Chat2Graph：基于多智能体的知识图谱自动构建

加速 AGI 普惠人类让生成式人工智能惠及开发者和终端用户

08-07

1162

基于 SiliconCloud 极速响应、稳定可靠的 API 服务，Chat2Graph 能进一步提升图计算处理能力，满足复杂场景下的数据分析需求，为开发者和企业提供从数据导入到洞察输出的完整图智能解决方案。

书生（InternLM + LlamaIndex RAG 实践）

为人民服务

02-11

401

基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前浦语 API 不会回答，借助 LlamaIndex 后浦语 API 具备回答 A 的能力。浦语官网和硅基流动都提供了InternLM的类OpenAI接口格式的免费的 API，可以访问以下两个了解两个 API 的使用方法和 Key。创建一个llamaindex_RAG.py，并写入以下代码。运行llamaindex_RAG.py，运行结果如下。运行test_internlm.py，运行结果如下。

httpx.HTTPStatusError: Client error ‘429 Too Many Requests‘ for url ‘

weixin_40566713的博客

07-01

2883

实现重试机制：当遇到 429 错误时，可以等待一段时间（通常服务器会在响应头中包含一个 Retry-After 指令，告诉客户端等待多久后再尝试），然后重新发送请求。联系API供应商：如果你正在调用的是第三方API，并且需要大量请求，联系API供应商协商提高你的请求限额或者特定的访问策略。请求限制分析：如果可能，分析你的请求模式，并尝试优化，比如批处理请求或者使用更高效的方法。减少请求频率：减慢你的请求速率，遵守服务器提供的速率限制。

如何在 Zotero 中接入 DeepSeek 大模型？基于 Awesome GPT 插件的高效文献阅读指南

minpengyuanBITer的博客

05-25

3772

本文介绍了如何将开源大模型 DeepSeek 接入文献管理工具 Zotero，通过安装 Awesome GPT 插件，实现文献的智能总结、问答与自动笔记生成。我们重点演示了使用“硅基流动 API”作为桥梁，将 DeepSeek 模型顺利集成到 Zotero 中，弥补了 DeepSeek 官方未开放标准 API 的缺陷。文章包含完整配置步骤、图文详解、错误示例对比与实际使用效果展示，帮助科研工作者打造一个真正懂文献、会提问的 AI 阅读助手。适用于科研学习、自动化文献笔记与知识整理场景。

如何使用langchain对本地文件进行构建RAG

04-23

<think>好的，我现在要解决用户的问题，关于如何使用LangChain构建基于本地文件的RAG系统。首先，我需要回顾用户提供的资料和之前的对话历史，确保理解正确。用户提到他们想了解如何构建本地文件的RAG系统，并希望有示例代码。根据引用[1]，用户之前已经有一个指南，构建了本地运行的RAG应用，涉及环境设置、文档加载、创建索引、模型设置和链式问答。引用[2]是关于Java开发者使用LangChain4j的例子，但用户现在可能需要Python的解决方案，因为之前的示例代码都是Python的。首先，我需要确认用户的需求是使用Python和LangChain，而不是Java。用户之前的问题中已经展示了Python代码，所以应该继续用Python回答。接下来，用户的问题包括构建RAG系统的步骤，可能需要详细的流程和代码示例。我需要考虑RAG系统的基本组成部分：文档加载、文本分块、向量存储、检索和生成。根据用户之前的回答，他们提到使用WebBaseLoader，但现在需要处理本地文件，所以应该换成适合本地文件的加载器，比如DirectoryLoader或PyPDFLoader。文档加载部分，可能需要使用不同的加载器来处理各种格式的文件，比如PDF、Word、TXT等。例如，使用PyMuPDFLoader处理PDF，Docx2txtLoader处理Word，TextLoader处理文本文件。然后，将这些文档分块，可能用RecursiveCharacterTextSplitter。接下来是创建向量存储，需要用到嵌入模型，比如HuggingFaceEmbeddings，以及向量数据库，比如FAISS。然后，设置检索器，基于向量存储进行相似性搜索。模型设置部分，用户可能需要一个本地运行的LLM，比如GPT4All或Llama.cpp，这样可以不依赖网络。需要示例代码展示如何加载本地模型并与LangChain集成。最后，创建问答链，将检索器和生成模型结合起来，处理用户的问题，返回基于检索到的文档的答案。在代码示例中，需要确保各部分正确连接，比如加载文档、分块、创建向量存储、检索，然后生成回答。还要注意依赖库的安装，比如安装langchain、faiss-cpu、gpt4all等。可能需要考虑异常处理，比如文件路径错误，或者模型加载失败的情况，但示例代码可能先以基础版本呈现，再提到优化点。用户可能还关心如何优化分块策略，选择合适的块大小和重叠，或者如何处理不同格式的文档。此外，可能提到性能优化，比如使用更高效的嵌入模型或向量数据库。需要确保代码符合LangChain的最新版本，比如使用正确的导入路径，避免弃用警告，比如从langchain_community导入模块，而不是旧的路径。最后，生成相关问题，帮助用户深入理解，比如如何选择嵌入模型、优化检索策略、处理大文件等。</think>以下是如何使用LangChain构建基于本地文件的RAG系统的分步指南，包含完整代码示例和技术细节： --- ### 一、环境准备（Python 3.8+）安装依赖库： ```bash pip install langchain faiss-cpu sentence-transformers gpt4all pypdf python-docx ``` --- ### 二、核心代码实现 #### 1. 文档加载模块 ```python from langchain_community.document_loaders import ( PyPDFLoader, Docx2txtLoader, TextLoader ) from langchain_community.document_loaders.directory import DirectoryLoader def load_documents(path: str): # 支持PDF/Word/TXT格式 loader_config = { ".pdf": (PyPDFLoader, {}), ".docx": (Docx2txtLoader, {}), ".txt": (TextLoader, {"encoding": "utf-8"}) } loader = DirectoryLoader( path, glob="**/[!.]*", # 忽略隐藏文件 loader_kwargs=loader_config, show_progress=True ) return loader.load() ``` #### 2. 文本分块处理 ```python from langchain.text_splitter import RecursiveCharacterTextSplitter text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=200, length_function=len, separators=["\n\n", "\n", "(?<=\. )", " "] ) docs = load_documents("./knowledge_base/") splits = text_splitter.split_documents(docs) ``` #### 3. 向量存储构建 ```python from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS embedding_model = HuggingFaceEmbeddings( model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={'device': 'cpu'} ) vector_store = FAISS.from_documents( splits, embedding_model, normalize_L2=True # 提升余弦相似度计算精度 ) vector_store.save_local("faiss_index") # 持久化存储 ``` #### 4. 本地LLM集成 ```python from langchain_community.llms import GPT4All local_llm = GPT4All( model="./models/mistral-7b-instruct-v0.1.Q4_0.gguf", max_tokens=2048, temp=0.3, repeat_penalty=1.1 ) ``` #### 5. 构建RAG链 ```python from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate custom_prompt = PromptTemplate( template="""基于以下上下文和你的知识库回答问题： Context: {context} 问题: {question} 回答时请使用中文且保持专业性:""", input_variables=["context", "question"] ) rag_chain = RetrievalQA.from_chain_type( llm=local_llm, retriever=vector_store.as_retriever(search_kwargs={"k": 5}), chain_type="stuff", chain_type_kwargs={"prompt": custom_prompt}, return_source_documents=True ) ``` --- ### 三、使用示例 ```python query = "如何预防网络安全攻击？" result = rag_chain({"query": query}) print(f"问题: {query}") print(f"答案: {result['result']}") print("参考来源:") for doc in result['source_documents']: print(f"- {doc.metadata['source']} (Page {doc.metadata.get('page', 'N/A')})") ``` --- ### 四、性能优化建议 1. **分块策略优化** - 使用语义分块器提升上下文连贯性： ```python from langchain_experimental.text_splitter import SemanticChunker from langchain_community.embeddings import OllamaEmbeddings text_splitter = SemanticChunker( embeddings=OllamaEmbeddings(), breakpoint_threshold_type="percentile" ) ``` 2. **混合检索策略** ```python from langchain.retrievers import BM25Retriever, EnsembleRetriever bm25_retriever = BM25Retriever.from_documents(splits) ensemble_retriever = EnsembleRetriever( retrievers=[ vector_store.as_retriever(search_kwargs={"k": 3}), bm25_retriever ], weights=[0.7, 0.3] ) ``` 3. **缓存机制** ```python from langchain.cache import SQLiteCache import langchain langchain.llm_cache = SQLiteCache(database_path=".langchain.db") ``` --- ### 五、系统架构示意图 ```mermaid graph TD A[本地文件] --> B[文档加载] B --> C[文本分块] C --> D[向量存储] D --> E[检索器] E --> F[LLM生成] F --> G[答案输出] ``` ---