llamaIndex 基于GPU加载本地embedding模型

最新推荐文章于 2025-05-01 09:30:13 发布
最新推荐文章于 2025-05-01 09:30:13 发布
阅读量2.2k 收藏 13
点赞数 8
分类专栏： Langchain 文章标签： embedding
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/leichangqing/article/details/136789366
版权
本文介绍了如何使用LLamaIndex库，结合GPU优化，从本地目录加载HuggingFace预训练模型进行文档向量存储。文章详细展示了如何设置环境变量以管理GPU内存，并加载PaulGraham数据集进行实例操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

llamaIndex 基于GPU加载本地embedding模型

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import Settings
import os

os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "max_split_size_mb:4000"
os.environ["PYTORCH_CUDA_ALLOC_CONF"] = "expandable_segments:True"
documents = SimpleDirectoryReader("./data/paul_graham").load_data()


Settings.embed_model = HuggingFaceEmbedding(
    model_name="/home/leicq/Documents/LLM_models/bge-large-zh-v1.5"
    
)

index = VectorStoreIndex.from_documents(
    documents,
)
print("hello")
【大模型应用开发 动手做AI Agent】LlamaIndex和基于RAG的AI开发
AI天才研究院
05-27 1276
随着人工智能技术的飞速发展,大语言模型(Large Language Models, LLMs)在各个领域得到了广泛应用。LLMs通过从大规模文本语料中学习,可以生成连贯、自然的文本,完成复杂的自然语言处理任务。然而,LLMs仍然存在知识储备有限、推理能力不足等问题。为了进一步增强LLMs的能力,学术界和工业界开始探索LLMs与其他技术的结合,比如知识图谱、检索增强生成(Retrieval-Augmented Generation, RAG)等。
大模型——RAG进阶 Embedding Models嵌入式模型原理和选择
04-24 461
主要用于训练和评估模型：根据一段文章回答相关的问题。**BGE-M3：**北京智源研究院开发，支持多语言、混合检索（稠密+稀疏向量），处理 8K 上下文，适合企业级知识库。**NV-Embed-v2：**基于 Mistral-7B，检索精度高（MTEB 得分 62.65），但需较高计算资源。**训练方法：**对比学习（如 Word2Vec 的 Skip-gram/CBOW）、预训练+微调（如 BERT）。**上下文依赖：**现代模型（如 BGE-M3）动态调整向量，捕捉多义词在不同语境中的含义。
使用 HuggingFace 和 LlamaIndex 实现本地嵌入模型
ppoojjj的博客
08-04 1689
在当今的自然语言处理（NLP）任务中，嵌入模型（Embedding Models）扮演着至关重要的角色。它们能够将文本转化为高维向量，从而方便后续的机器学习任务。本文将介绍如何使用 HuggingFace 和 LlamaIndex 实现本地嵌入模型，并通过实例代码演示具体操作。我们将使用中专API地址（http://api.wlai.vip）来调用大模型。
llamaindex结合本地模型构建RAG
weixin_72100405的博客
03-19 6647
总结一下对llamaindex的使用心得，第一部分是构建知识库并持久化，第二部分是使用本地llm模型和本地embed模型，第三部分是对qurey engine和chat engine的使用（自定义prompt）。知识库格式:一个全是txt文档的文件夹。
RAG执行代码报错 “no module named ‘llama_index.vector_stores‘“
zhouxukun123的专栏
04-27 272
错误 "no module named 'llama_index.vector_stores'"
LlamaIndex中使用本地LLM和Embedding
不负热爱
02-22 555
LlamaIndex默认会调用OpenAI的text-davinci-002模型对应的API，用于获得大模型输出，这种方式在很多情况下对国内用户不太方便，如果本地有大模型可以部署，可以按照以下方式在LlamaIndex中使用本地的LLM和Embedding
LLM之基于llama-index部署本地embedding与GLM-4模型对rag系统进行测评
weixin_44598554的博客
09-25 809
当然llama-Index 还提供了测试数据的生成功能，可以帮助我们轻松地生成评估所需的测试数据，包括评估的问题、参考答案等，这样我们就可以快速地进行评估工作，而不需要花费大量的时间去准备测试数据。Context Relevancy 是评估 Context 和 Question 的相关性，这个指标可以帮助我们评估检索到的文档上下文和问题的相关性。Answer Revelancy 是评估 Answer 和 Question 的相关性，这个指标可以帮助我们评估生成的答案是否和问题相关。
LLM之基于llama-index部署本地embedding与GLM-4模型并初步搭建RAG（其他大模型也可，附上ollma方式运行）
weixin_44598554的博客
08-20 3043
前言日常没空，留着以后写官网：https://docs.llamaindex.ai/en/stable/简介也没空，以后再写如果没有找到 llama_index.embeddings.huggingface那么：pip install llama_index-embeddings-huggingface还不行进入官网，输入huggingface进行搜索 加载本地LLM模型 还是那句话，如果以下代码不行，进官网搜索Custom LLM Model 欢迎大家点赞或收藏大家的点赞或收藏可以鼓
大模型的 Embedding 模型该如何进行微调？
python122_的博客
07-11 502
本文重点介绍了如何使用 Sentence Transformers 对开源的Embedding模型进行微调，并验证Embedding模型微调后的效果。Sentence Transformers 是一个宝库，它介绍了关于Embedding模型方方面面的内容，是了解、深入Embedding模型必不可少的工具。后续笔者将会介绍Embedding模型量化、俄罗斯套娃嵌入模型（Matryoshka Representation Learning, MRL）等相关方面的内容。
LlamaIndex快速构建RAG解决大模型的幻觉问题
weixin_41688410的博客
02-10 1752
LlamaIndex 是一个开源框架，用于快速构建检索增强生成（RAG）应用。它可以帮助开发者将检索组件（如向量数据库）与语言生成模型（如 LLM）结合，高效地处理和检索文档数据，从而生成更准确、更有依据的内容在生成式 AI 的快速发展中，大模型的幻觉问题一直是制约其广泛应用的关键挑战之一。幻觉现象不仅降低了模型输出的可信度，还可能在实际应用中引发严重后果。为了解决这一问题，检索增强生成（RAG）技术应运而生，通过结合信息检索和语言生成，显著提升了生成内容的准确性和可靠性。
大模型系列——RAG进阶Embedding Models嵌入式模型原理和选择
最新发布
2401_84052244的博客
05-01 169
主要用于训练和评估模型：根据一段文章回答相关的问题。**BGE-M3：**北京智源研究院开发，支持多语言、混合检索（稠密+稀疏向量），处理 8K 上下文，适合企业级知识库。**NV-Embed-v2：**基于 Mistral-7B，检索精度高（MTEB 得分 62.65），但需较高计算资源。**训练方法：**对比学习（如 Word2Vec 的 Skip-gram/CBOW）、预训练+微调（如 BERT）。**上下文依赖：**现代模型（如 BGE-M3）动态调整向量，捕捉多义词在不同语境中的含义。
LlamaIndex对接本地模型
顺其自然~专栏
09-27 352
确保您已先按照自定义安装步骤操作。这是一个著名的“五行代码”起步示例，使用本地 LLM（大语言模型，用于内容生成）和嵌入模型（用于将上传文本生成词向量，与用户提问生成的词向量进行匹配，组合成提示词，发给大语言模型）。我们将使用 BAAI/bge-small-en-v1.5 作为嵌入模型，通过 Ollama 服务的 Mistral-7B 作为 LLM。
基于llama-index对embedding模型进行微调
luxinfeng的博客
12-24 6020
本文主要讲述了对RAG领域中常见的embedding模型使用专业数据进行微调的一种简单方法。
langchain 链式写法-使用本地 embedding 模型，Faiss 检索
木下瞳的博客
04-12 7774
使用本地下载的 embedding 模型去做 embedding，然后从中查相似的。
RAG实战2-如何使用LlamaIndex存储和读取向量
2401_85375298的博客
06-07 1161
在前篇中，我们介绍了如何使用LlamaIndex构建一个非常简单的RAG应用，初步了解了LlamaIndex构建RAG应用的大体流程。在运行前篇的程序时，我们会发现两个令人头痛的问题： 1. 使用llama-index-llms-huggingface构建本地大模型时，会花费相当一部分时间。 2. 在对文档进行切分，将切分后的片段转化为embedding向量，构建向量索引时，会花费大量的时间。
llamaindex实现rag
m0_57057282的博客
09-05 1166
RAGAs为RAG系统的评估提供了一种灵活且高效的方法，尤其是在缺乏人工标注数据的情况下。通过利用大语言模型的能力，RAGAs能够在多个维度上评估检索和生成的质量，从而帮助开发者优化和改进他们的RAG应用。
Llama_index利用本地大模型工具ollama（CPU）
leichangqing的博客
03-15 2408
【代码】Llama_index利用本地大模型工具ollama（CPU）
LlamaIndex 和 LangChain 对比，应该选择哪个 RAG 框架？
了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识，以及DigitalOcean云平台使用教程
06-28 3656
想在 LlamaIndex 和 LangChain 之间做出选择？本文将概览并了解这两种 LLM 时代最流行的框架之间的主要区别。
Llamaindex RAG实践
China_zza的博客
08-11 1709
任务描述： LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。
deepseek如何本地部署知识库
02-21
<think>好的，用户想了解如何本地部署DeepSeek的知识库。首先，我需要确认DeepSeek是否提供了官方的本地部署方案。可能的情况是，DeepSeek本身是一个大模型，而知识库的本地部署可能涉及结合其他工具，比如LangChain或者LlamaIndex。 接下来，我应该回忆一下常见的本地知识库部署流程。通常步骤包括：加载文档、文本分割、向量化处理、存储向量数据库、构建检索链和部署应用。可能还需要用到Embedding模型，比如OpenAI的或者开源的如BGE、SentenceTransformers。 用户可能关心的是具体如何将DeepSeek与这些工具结合。比如，是否可以用DeepSeek的API来替代其他模型，或者在本地运行DeepSeek的模型。需要分情况讨论：使用API还是本地模型。 如果使用API，流程类似其他云服务，但需要替换接口为DeepSeek的。如果是本地部署模型，可能需要下载模型文件，用Transformers库加载，然后整合到知识库系统中。 另外，用户可能对硬件有要求，比如是否需要GPU加速。本地部署大模型通常需要较高的配置，这点需要提醒用户。 还要考虑知识库的具体实现，比如使用FAISS或Chroma作为向量数据库，用LangChain的框架来链式处理。可能需要提供代码示例，但要注意DeepSeek是否兼容这些库。 最后，要检查是否有DeepSeek的官方文档或社区资源，提供更准确的指导。如果官方资料有限，建议用户参考通用的本地知识库部署方法，并尝试替换模型部分为DeepSeek。</think>DeepSeek 的本地知识库部署通常需要结合其大模型能力与外部工具（如 LangChain、LlamaIndex 等），以下是一个通用实现思路，具体可根据需求调整： -- **本地知识库部署流程** 1. **环境准备** - 硬件：推荐 GPU 加速（如 NVIDIA 显卡） - 基础环境：Python 3.8+、PyTorch、Transformers 库 - 工具库：安装 LangChain、SentenceTransformers、FAISS/Chroma 等 2. **模型准备** - **方案一：使用 DeepSeek API** ```python from langchain_community.llms import DeepSeek llm = DeepSeek(api_key="your_api_key") ``` - **方案二：本地部署模型** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") ``` 3. **知识库构建** ```python from langchain_community.document_loaders import DirectoryLoader from langchain_text_splitters import RecursiveCharacterTextSplitter # 加载文档 loader = DirectoryLoader('./docs', glob="**/*.pdf") documents = loader.load() # 文本分割 text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50) splits = text_splitter.split_documents(documents) ``` 4. **向量化存储** ```python from langchain_community.embeddings import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS # 使用开源 Embedding 模型 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-zh-v1.5") # 创建向量库 vectorstore = FAISS.from_documents(splits, embeddings) vectorstore.save_local("faiss_index") ``` 5. **检索增强生成（RAG）** ```python from langchain.chains import RetrievalQA # 本地模型接入 from langchain_community.llms import HuggingFacePipeline pipeline = HuggingFacePipeline.from_model_id( model_id="deepseek-ai/deepseek-llm-7b-chat", task="text-generation", device=0 # GPU 加速 ) # 构建问答链 qa_chain = RetrievalQA.from_chain_type( llm=pipeline, retriever=vectorstore.as_retriever(), return_source_documents=True ) # 执行查询 result = qa_chain.invoke({"query": "如何申请年度报告？"}) ``` --- **关键优化点** 1. **分词优化**：根据专业领域调整文本分割策略 2. **混合检索**：结合关键词检索与向量检索提升准确率 3. **缓存机制**：对常见问题建立缓存数据库 4. **权限控制**：通过文件级元数据实现访问控制 --- **注意事项** 1. 7B 参数模型建议至少 16GB GPU 显存 2. 中文知识处理建议使用中文优化版 Embedding 模型 3. 敏感数据建议全程本地化处理 4. 可结合 FastAPI 构建 Web 服务接口 如果需要更具体的实现方案，建议参考 DeepSeek 官方文档（https://deepseek.com/docs）或查看其 GitHub 开源仓库获取最新部署指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值