【大语言模型，数据向量化】向量化时使用本地HuggingFaceEmbeddings失败，调用embeddings时仍会去Huggingface下载的解决方法

已于 2024-02-22 11:10:03 修改
阅读量4k 收藏 12
点赞数 13
文章标签： 语言模型 人工智能 自然语言处理
于 2024-02-21 11:54:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_54113360/article/details/136207776
版权

错误：没有按照代码指定的去访问本地的cach文件夹下的embeddings，去链接huggingface了，而且链接超时

解决办法：

embedding_model_dict = {
    "ernie-tiny": "nghuyong/ernie-3.0-nano-zh",
    "ernie-base": "nghuyong/ernie-3.0-base-zh",
    "text2vec": "GanymedeNil/text2vec-large-chinese",
    "text2vec2": "uer/sbert-base-chinese-nli",
    "text2vec3": "shibing624/text2vec-base-chinese",
}

以上为embeddings模型对应huggingface的下载路径

1. 首先model_name，必须与字典中要使用的模型名字对应的路径一致

        以使用“text2vec3”

最低0.47元/天 解锁文章
AI大模型探索之路-基础篇1：精通Embeddings向量表示法
寻道AI，探索AI无限可能！
04-04 1932
随着AI大模型的不断发展，AI大模型应用开发这门技术也越来越重要，很多人都开启了学习AIGC，本文介绍了AI大模型基础之Embedding向量化处理。从本章开始正式启动AI大模型开发学习之旅
使用 HuggingFace 库进行本地嵌入向量生成
qq_29929123的博客
06-19 5553
在当今的AI和机器学习应用中，嵌入向量（embeddings）已成为不可或缺的一部分。嵌入向量能够将文本等高维数据转换为低维稠密向量，从而便于计算和分析。在本文中，我们将介绍如何使用 HuggingFace 库在本地生成嵌入向量，并演示相关代码。
本地及国内主流Embedding模型配置全指南（附代码实战）
最新发布
AI魔女Lilith的博客
04-16 3303
在AI应用开发中，文本嵌入（Embedding）作为语义理解的核心技术，其部署方案的选择直接影响着系统性能、数据安全和开发效率。本文针对开发者面临的三大痛点：
使用 Hugging Face Text Embeddings Inference 部署文本嵌入模型
qahaj的博客
03-22 323
文本嵌入是将文本转换为低维向量的过程，这些向量可以更容易地被机器学习模型理解和处理。通过使用 TEI，开发者能够高效地部署和服务这些模型，以满足实际应用的需求。
调用本地embeddings时仍会连接Huggingface下载的解决方法
weixin_73089812的博客
05-05 3884
TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
解决离线服务器无法加载HuggingFaceEmbeddings向量化模型的问题
m0_58700887的博客
05-10 3815
也就是说加载完向量化模型后，我初始化了Chroma向量数据库，然后对传入的doc文档数据进行向量化，它会提示找不到embed_documents这个属性。本身BertModel是没有这个属性的，但是Chroma却需要调用这个属性来实现文档向量化（通过HuggingFaceEmbeddings来加载模型就不会报错，但是离线服务器上用不了）。最后再调用这个类，就能正常对文档进行向量化和本地持久化了。
【错误解决】使用HuggingFaceInstructEmbeddings时的一个错误
dopapapa的博客
05-24 515
查看代码发现，HuggingFaceInstructEmbeddings和sentence-transformers模块版本不兼容导致。安装sentence-transformers时带上版本号，否则默认会安装最新版本。起因：使用huggingface构建一个问答程序时出现的问题。可以明显看到方法参数不同。
如何使用Huggingface的本地嵌入模型生成文本嵌入
qq_29929123的博客
08-04 732
首先，我们需要创建一个自定义的嵌入类。以下是一个简单的示例代码，展示如何使用Huggingface的本地嵌入模型生成文本嵌入。# 示例text_embedding = embed_model.get_text_embedding("你的文本内容")此代码演示了如何加载Huggingface的本地模型，并生成指定文本的嵌入向量。注意，这里的模型名可以替换为你需要的任何Huggingface模型。
nodejs 实现加载 huggingface local embedding model 方法
gaohongfeng1的博客
12-05 4178
1. 需要了解transformer js 项目，这是transformer 的js版本，nodejs server端用ts代码实现，无缝集成langchain的话，需要用这个版本。需要注意，transformer支持的模型是有清单的，参考项目下的scripts/support_models.py文件，很多中文模型都不支持，如bge-large-zh，是否配置后就可以，需要确认。3.transformer 项目要加载onnx模型，不能是pytoch模型，所以，翻山越岭，还要解决这一关。
基于Llamaindex的本地向量与大模型RAG搭建流程
大数据，大模型，服务器，技术、架构，方案
11-19 1349
本文展示了 Llamaindex + Chunk + Local Embed +Ollama + RAG 的全流程代码。这里设置了 Ollama 作为语言模型，并指定了其 API 的基础 URL、使用的模型名称以及请求超时时间。这里查询的是关于“dify 的开源协议”的信息。从指定目录中读取文档，并使用设置好的嵌入模型和分词器将这些文档转换为向量存储索引。嵌入模型，用于将文本转换为向量表示。
WIN10 本地部署 BGE Embedding 向量化模型
weixin_42176639的博客
02-24 1676
type=zh&content_1=小明把小红的自行车骑坏了&content_2=被小明骑坏的自行车是小红的。type=zh&content_1=小明把小红的自行车骑坏了&content_2=被小红骑坏的自行车是小明的。本文通过 Anconda 创建虚拟环境演示，可以直接用本地环境或其他虚拟形式，Anconda 的替代包可以用。在模型文件所在的目录，打开控制台文件夹，并切换到虚拟环境 env-bge。换成相反说法，相似度仍然很高，看来是有点小问题的。
shibing624-text2vec-base-chinese模型文件
08-28
shibing624_text2vec-base-chinese模型文件
HuggingFace加载模型失败的解决
weixin_54800645的博客
04-03 2194
使用AutoModel手动加载本地的HuggingFace模型
huggingface模型下载至本地并调用教程
热门推荐
qq_44297664的博客
04-23 1万+
huggingface内有许多预训练模型，可以在线调用模型或者将模型部署至本地，但有时候通过网址调用模型会很慢，有些服务器甚至无法通过网址调用…那么，正题，如何将huggingface的模型部署至本地呢？
Hugging Face Transformers 错误解决方案
qq_38522564的博客
04-21 4227
BlueStragglers 分享技术成长的快乐 近期项目用到了 Transformers。然而，配置过程中发生了不少问题，好在通过查阅各种论坛（优快云，Github Issues, Huggingface Discuss, StackOverflow …），最后都解决了。 在这里将问题记录一下，方便后面大家配置。 1. OSError: Unable to load weights from pytorch checkpoint file 这个问题，是最最难解决的。 我解决这个问题主要经过了三个过程：
【深入探索Hugging Face Embedding：从本地解决方案到API调用】
hatjeagetju的博客
12-20 819
这篇文章介绍了如何使用Hugging Face提供的工具生成文本嵌入，包括本地和API两种方式。在日常开发中，根据需要选择合适的方法可以大大提高工作效率。此外，建议在Hugging Face官方文档中学习更多关于这些工具和模型的信息。
深入理解Hugging Face嵌入模型：从本地到云端的实践指南
ppoojjj的博客
08-21 2622
本地使用通过Hugging Face Inference API使用Hugging Face Hub每种方法都有其优势和适用场景，我们将逐一探讨。本文介绍了使用Hugging Face嵌入模型的三种主要方法。每种方法都有其特定的用例和优势。Hugging Face官方文档LangChain文档中的嵌入模型指南。
pycharm通过hf mirror镜像访问huggingface模型（无需翻墙）
L1481333167的博客
03-27 1万+
window下 pycharm如何通过hf mirror镜像访问huggingface模型，无需翻墙！！！无需翻墙！！
用Python搭建本地知识库，如何调用嵌入模型，将文档向量化
03-10
<think>好的，我现在要解决用户的问题，关于如何用Python搭建本地知识库，并调用嵌入模型将文档向量化。首先，我需要理清整个流程，确保每一步都正确无误。 用户的需求很明确，他们想了解如何使用Python来实现本地知识库的构建，重点在于调用嵌入模型进行文档向量化。我需要先分解这个问题，可能涉及的步骤包括：文档预处理、选择嵌入模型、调用模型生成向量、存储向量以及后续的查询处理。 首先，文档预处理。用户可能有各种格式的文档，比如TXT、PDF、Word等，所以需要先处理这些文档，提取文本内容。可能需要用到PyPDF2、python-docx这些库来处理不同格式的文件。然后，进行文本清洗，去除无用字符，分词，可能还需要分块处理，因为有些模型有输入长度限制，比如BERT通常处理512个token。所以，可能需要将长文档分成小块。 接下来是嵌入模型的选择。用户可能没有明确使用哪种模型，我需要考虑常见的开源模型，比如Sentence-BERT、GloVe、FastText，或者HuggingFace上的预训练模型。这里需要说明不同模型的优缺点，比如SBERT适合生成句子级别的嵌入，而GloVe是词向量，可能需要做平均得到句子向量。另外，如果用户希望本地运行，应该推荐可以在本地加载的模型，而不是依赖API的，比如OpenAI的API虽然方便，但不符合“本地”的要求。 然后是调用模型生成向量。这里需要给出具体的代码示例，比如使用transformers库加载预训练模型，如bert-base-uncased，或者sentence-transformers库中的模型。需要展示如何将文本输入模型，并获取输出向量。可能需要注意处理tokenization，以及如何从模型输出中提取向量，比如使用池化层后的结果。 存储向量部分，可能需要用到向量数据库，比如FAISS、Annoy或者Milvus。这些库可以高效存储和检索高维向量。需要简单介绍如何将向量存入数据库，并建立索引，以便后续的相似性搜索。 最后是查询处理，即用户输入一个问题，将其向量化后，在向量数据库中查找最相似的文档块，返回结果。这部分需要展示查询的流程，包括同样的预处理和向量化步骤，然后使用数据库的搜索功能。 现在，我需要确保每一步的代码示例正确无误。比如，使用sentence-transformers的话，安装是否正确，模型名称是否正确。存储部分，FAISS的安装和使用是否清楚。另外，需要注意中文处理的问题，如果用户处理的是中文文档，可能需要选择支持中文的模型，比如paraphrase-multilingual-MiniLM-L12-v2。 可能遇到的错误点包括：模型未正确下载，文本分块的大小不合适导致信息丢失，向量数据库的索引构建参数设置不当影响搜索效率。需要提醒用户注意这些潜在问题，并给出调试建议，比如检查模型下载路径，分块时使用重叠部分，调整索引参数等。 另外，流程的整体性很重要，用户可能需要一个完整的示例代码，涵盖从加载文档到查询的全过程。需要确保代码示例中的每一步都有注释，变量命名清晰，方便用户理解。同时，要强调本地运行的条件，比如需要安装哪些库，模型文件的大小和下载方式。 总结下来，回答的结构应该是先介绍整体流程，然后分步骤详细说明，每个步骤给出代码示例，并解释关键点。最后，提醒可能的问题和优化方向，比如模型选择、分块策略、索引优化等。确保用户能够按照步骤一步步实现，同时理解背后的原理和注意事项。</think>以下是用Python搭建本地知识库并调用嵌入模型实现文档向量化的分步指南： --- ### 一、整体流程 ``` 文档加载 → 文本预处理 → 选择嵌入模型 → 向量生成 → 向量存储 → 查询处理 ``` --- ### 二、核心步骤详解 #### 1. 文档加载与预处理 ```python # 安装依赖 # pip install PyPDF2 python-docx nltk from PyPDF2 import PdfReader import docx import re from nltk.tokenize import sent_tokenize def load_documents(path): if path.endswith('.pdf'): reader = PdfReader(path) text = ' '.join([page.extract_text() for page in reader.pages]) elif path.endswith('.docx'): doc = docx.Document(path) text = ' '.join([para.text for para in doc.paragraphs]) return clean_text(text) def clean_text(text): text = re.sub(r'\s+', ' ', text) # 去除多余空格 text = re.sub(r'[^\w\s.,;?!]', '', text) # 保留基础标点 return text # 文本分块（按句子分割） chunks = sent_tokenize(load_documents('doc.pdf'))[:512] # 限制最大长度 ``` #### 2. 嵌入模型选择与调用 **本地模型推荐**： - Sentence-BERT（`sentence-transformers`库） - MiniLM（轻量级BERT变体） - 多语言模型（如`paraphrase-multilingual-MiniLM-L12-v2`） ```python # 安装库 # pip install sentence-transformers from sentence_transformers import SentenceTransformer # 加载本地模型（首次运行会自动下载） model = SentenceTransformer('paraphrase-MiniLM-L6-v2') # 生成向量 embeddings = model.encode(chunks, convert_to_tensor=True, # 可选GPU加速 show_progress_bar=True) ``` #### 3. 向量存储与检索 ```python # 安装向量数据库 # pip install faiss-cpu import faiss import numpy as np # 创建FAISS索引 dimension = 384 # 匹配模型输出维度 index = faiss.IndexFlatL2(dimension) # 转换为numpy数组 vectors = embeddings.numpy().astype('float32') # 添加索引 index.add(vectors) faiss.write_index(index, "knowledge_base.index") # 保存索引 ``` #### 4. 查询处理 ```python def search(query, top_k=3): query_vec = model.encode([query]) distances, indices = index.search(query_vec, top_k) return [(chunks[i], distances[0][j]) for j, i in enumerate(indices[0])] results = search("如何预防网络安全风险？") for text, score in results: print(f"相关度：{1/(1+score):.2%} | 内容：{text[:80]}...") ``` --- ### 三、关键优化点 1. **分块策略**： - 使用滑动窗口（如256 tokens窗口 + 128 tokens重叠） - 添加元数据（如来源文档、页码） 2. **模型选择**： - 英文推荐：`all-MiniLM-L12-v2` - 中文推荐：`paraphrase-multilingual-MiniLM-L12-v2` 3. **性能优化**： ```python # 启用GPU加速（需安装faiss-gpu） res = faiss.StandardGpuResources() gpu_index = faiss.index_cpu_to_gpu(res, 0, index) ``` --- ### 四、完整代码结构 ``` project/ ├── data_loader.py # 文档加载模块 ├── embedding.py # 向量生成模块 ├── faiss_db.py # 向量数据库模块 └── query.py # 查询接口模块 ``` --- ### 五、常见问题处理 1. **内存不足**： - 使用`IndexIVFFlat`替代`IndexFlatL2` - 量化存储：`IndexPQ`（有损压缩） 2. **中文支持**： ```python # 使用jieba分词替代nltk import jieba chunks = [jieba.lcut(text) for text in texts] ``` 3. **增量更新**： ```python # 动态加载索引 index = faiss.read_index("knowledge_base.index") index.add(new_vectors) ``` 通过以上步骤即可实现完整的本地知识库系统。建议先用小规模数据测试，逐步优化分块策略和检索参数。
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值