FastGPT接入向量模型 M3E 和 重排模型 bge-reranker-large

已于 2025-01-24 12:05:46 修改
阅读量1.3k 收藏 2
点赞数 3
分类专栏： M3E 文章标签： M3E FASTGPT
于 2025-01-18 09:40:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42393720/article/details/144866751
版权

一 、FastGPT接入向量模型 M3E

1.拉取m3e镜像
# GPU模式启动，并把m3e加载到fastgpt同一个网络
docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
2.查看镜像
docker images

可以按照有一个名称为registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api 的镜像文件

3. 给镜像重命名
(1) 给镜像重命名
docker tag registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api stawky/m3e-large-api
(2) 查看镜像（查看是否命名成功，有stawky/m3e-large-api镜像）
docker images
(3) 删除旧的镜像(节约空间)
docker rmi registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api
4.将命名后的镜像加入fastgpt所在的网络并运行

（1）GPU模式启动，并把m3e加载到fastgpt同一个网络：

docker run -d -p 6008:6008 --gpus all --name m3e
最低0.47元/天 解锁文章
FastGPT部署接入 M3E和chatglm2-m3e文本向量模型
洛阳泰山的博客
04-24 3210
FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
FastGPT部署和接入使用重排模型bge-reranker
洛阳泰山的博客
05-11 3777
BGE-reranker模型是北京智源人工智能研究院（BAAI）推出的一种重排序模型，主要用于优化信息检索系统的性能。该模型在2023年12月推出，是BGE（BAAI General Embedding）系列模型中的一个重要组成部分。BGE-reranker的核心作用是对初步检索出的Top-K文档进行再次排序，以提高检索结果的相关性和精度，这是一种典型的两阶段检索策略。
ollama + fastGPT + m3e 本地部署指南
2401_84204207的博客
11-10 3300
[TOC](ollama + fastgpt+m3e本地部署)
ollama + fastgpt+m3e本地部署
weixin_42304193的博客
10-12 2335
因为docker下载的镜像源默认是国外的地址，所以下载比较慢，换成国内的镜像源下载会比较快一点。ollama下载这里就不做说明了，因为现在ollama下载比较简单，需要的话，我再出博客讲解。这里如果是测试的话就用简单模型就好了，其他的高级玩法后面再慢慢摸索。像我用的是qwen2.5，你们可以根据自己的模型进行选择。本机地址：http://localhost:3001/模型那里选择的模型要选择你本地ollama下载的模型。这里是分割数据的模型，用自动模式就好了。这里选择模型，选择完之后就可以用了。
国内本地部署FastGPT知识库（FastGPT+ChatGLM3+m3e）,搭建属于自己的“备忘录”
最新发布
python12345_的博客
04-21 1057
大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。位置： \wsl.localhost\Ubuntu\home\csc\fastgpt。位置： \wsl.localhost\Ubuntu\home\csc\fastgpt。大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。
基于fastGpt + m3e模型打造企业个人私有化知识库(本地部署教程)
weixin_45456848的博客
06-27 3632
此时语言模型对话内容中，就可以穿插自己定义的知识库内容了，还可以发布、预览到此，就完成了基础的部署。
fastGPT添加知识库文本索引模型m3e一直处于索引中怎么解决
10-27 2118
FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
OLLAMA+FASTGPT+M3E 大模型本地化部署手记
12-10 4911
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json 下载不下来的话，重新配置host：185.199.108.133 raw.githubusercontent.com。首先是加入ollama的本地模型，像我用的是qwen2.5:3b，你们可以根据自己的模型进行填写。因为docker下载的镜像源默认是国外的地址，所以下载比较慢，换成国内的镜像源下载会比较快一点。
三大知名向量化模型比较分析——m3e,bge,bce
东南草堂
07-16 3万+
BGE：在多语言支持、文本处理能力和检索精度方面表现优异，尤其适合需要高精度和高效率的场景。同时，其资源使用较为经济。M3E：专注于中文文本处理，具有强大的文本处理能力和灵活的部署选项，适合资源受限或需要私有化的应用场景。BCE：虽然具体细节较少，但其在RAG应用中的表现表明其具备一定的优势，可能适合特定的高精度需求场景。根据不同的应用需求和资源条件选择合适的模型会更加有效。
Fastgpt配合chatglm+m3e或ollama+m3e搭建个人知识库
BiuBiu_Ka
04-12 9445
人工智能大语言模型是近年来人工智能领域的一项重要技术，它的出现标志着自然语言处理领域的重大突破。这些模型利用深度学习和大规模数据训练，能够理解和生成人类语言，为各种应用场景提供了强大的文本处理能力。AI大语言模型的技术原理主要基于深度学习和自然语言处理技术，通过自监督学习和大规模文本数据的预训练来学习语言的表示。训练完成后，可以通过微调等方法，将模型应用于特定的任务和应用场景。未来，AI大语言模型有望在更多领域发挥作用，包括自然语言理解、文本生成、对话系统、语言翻译等。
BGE系列模型原论文，rag中的rerank模型
07-11
自2023年8月发布以来，BGE模型家族已经推出了多个版本，包括BGE v1.0、v1.5和多语言模型BGE-M3。这些模型在语义理解和跨语言映射方面取得了显著进展，为自然语言处理领域带来了新的突破 。 BGE模型的特点包括： 多...
【RAG实战优化】增加BGE-Reranker 如何提升检索精度
kakaZhui的博客
03-03 725
BGE-Reranker (BAAI General Embedding - Reranker) 提升RAG系统精度
从《红楼梦》的视角看大模型知识库 RAG 服务的 Rerank 调优
易迟的专栏
05-25 3325
在之前的文章有道 QAnything 源码解读中介绍了有道 RAG 的一个主要亮点在于对 Rerank 机制的重视。从目前来看，Rerank 确实逐渐成为 RAG 的一个重要模块，在这篇文章中就希望能讲清楚为什么 RAG 服务需要 Rerank 机制，以及如何选择最合适的 Rerank 模型。最终以完整的《红楼梦》知识库进行实践。至于为什么要用红楼梦，答案就是作为读了很多遍《红楼梦》的忠实粉丝，问题的答案是不是靠谱一眼就能判断，问题相关的片段也能快速定位，就像定位 bug 一样快。
【大模型本地知识库搭建】ChatGLM3，M3E，FastGPT，One-API
Bowen_Ding_的博客
04-12 7429
本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。
完全体！本地大模型+知识库大功告成！让知识库可以存知识！fastgpt部署m3e嵌入模型！20/45
ouhuixiong的博客
12-13 4909
在这个例子中，我们运行的是一个名为m3e-large-api的镜像，版本为latest。上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B/chatglm3-6b接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天跟着雄哥，把嵌入模型m3e，部署到GPU上，打造知识库完全体！
预训练模型语义相似性计算(十一) - M3E和BGE
choose_c的博客
05-28 2296
3.特定任务微调，在C-MTP有监督语料下训练，有监督语料量少但是质量高，为了缓解语料任务之间的矛盾，微调使用指令微调。对于每个小批，我们利用模型编码文本，收集输出的向量同时丢弃所有前向传播中的中间状态，最后汇总向量计算损失。2.通用微调，在C-MTP无监督语料下进行对比学习，没有特意挖掘负样本，而是以来批次内负样本，并通过增大批次从而增加嵌入的判别性。1.C-MTP，一个大型的文本嵌入训练集，包括了大量的非监督语料库和高质量标注的有监督语料库。3.最后将蒸馏损失和混合检索损失作为最后的损失。
最强中文Embedding模型m3e和向量数据库Qdrant联动
happy game
02-28 5855
M3E 是的缩写Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用uniem，评测 BenchMark 使用MTEB-zhMassive，此模型通过千万级(2200w+) 的中文句对数据集进行训练Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量在大模型中使用向量数据库具有多方面的意义，特别是在处理大规模向量数据时。大模型通常需要处理大量的向量数据，如图像、文本、语音等。
Python 文本处理和语义分析2 使用m3e对文本向量化
yukai08008的博客
02-19 2736
向量化将会是下一阶段演进的目标。在过去的实践中，向量或者矩阵其实是最贴近工具端的。以sklearn为例，虽然原始数据可能还是自然语言，但是在最终执行 fit或者predict之前，数据一般都转为了矩阵形态(numpy)。也就是说，在pandas(原始数据)和最终结果(predict result)之间，是(短暂且必然)存在过矩阵的。后来，应该是有过类似以图搜图类的应用，向量化且持久化在数据库中开始兴起。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 4万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
bge-reranker-large 模型ollama使用
03-14
<think>好的，我需要帮助用户了解如何在Ollama平台上加载和运行bge-reranker-large模型。首先，我需要回顾一下现有的引用内容，看看是否有相关的信息。引用[2]提到在知识库构建中需要部署rerank和embedding模型，并提到使用xinference平台和ollama的qwen2模型。引用[3]则涉及Chainlit集成LlamaIndex并使用ollama本地模型实现AI知识库检索。但用户的问题是关于bge-reranker-large在Ollama上的使用。 接下来，我需要确认Ollama是否支持直接加载bge-reranker-large模型。根据我所知，Ollama主要支持预打包的模型，比如Llama、Mistral等，而bge-reranker-large可能不在官方支持的列表中。这意味着用户可能需要通过自定义Modelfile来加载该模型。 然后，我应该分步骤说明如何操作。首先，安装Ollama并确保环境配置正确。然后，创建一个Modelfile，指定模型的路径或者从Hugging Face下载的模型。需要提醒用户注意模型的格式是否为Ollama支持的GGUF或GGML格式，如果原模型是PyTorch格式，可能需要转换。 另外，引用[2]提到部署xinference平台和embedding模型，可能用户需要结合其他工具来使用bge-reranker-large。例如，在检索后使用该模型进行重新排序。因此，在应用示例部分，可以建议用户将Ollama与Xinference结合，使用bge-reranker进行结果优化。 还需要注意用户可能遇到的常见问题，比如模型格式不兼容、依赖项缺失等，并提供解决建议。同时，生成相关问题，帮助用户进一步探索相关主题，如优化方法、模型集成等。 最后，确保回答符合格式要求：使用中文，正确应用LaTeX格式，引用标记，以及生成相关问题。检查引用是否正确对应，比如引用[2]和[3]关于部署和集成的信息，可能需要在回答中适当提及。</think>要在Ollama平台上使用$bge\text{-}reranker\text{-}large$模型，需结合自定义模型加载和第三方工具集成，具体步骤如下： --- ### 一、环境准备 1. **安装Ollama** 通过官网下载并安装Ollama，支持Windows/Linux/macOS系统： ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 2. **部署Xinference平台**（用于模型托管）[^2] 安装Xinference并启动服务： ```bash pip install xinference xinference-local ``` --- ### 二、加载$bge\text{-}reranker\text{-}large$模型 1. **下载模型文件** 从Hugging Face获取模型（需转换为GGUF格式）： ```bash git clone https://huggingface.co/BAAI/bge-reranker-large ``` 2. **创建Ollama Modelfile** 新建`BGE-Reranker-Large.Modelfile`文件，内容为： ```dockerfile FROM ./bge-reranker-large.gguf PARAMETER temperature 0.7 ``` 3. **加载自定义模型** 执行命令构建Ollama可识别模型： ```bash ollama create bge-reranker -f BGE-Reranker-Large.Modelfile ollama run bge-reranker ``` --- ### 三、应用示例（结合LlamaIndex） ```python from llama_index import VectorStoreIndex, ServiceContext from llama_index.llms import Ollama # 初始化Ollama本地模型 llm = Ollama(model="qwen2:7b") # 基础语言模型 service_context = ServiceContext.from_defaults(llm=llm) # 加载文档构建索引 documents = SimpleDirectoryReader("data").load_data() index = VectorStoreIndex.from_documents(documents) # 结合BGE-Reranker优化检索结果 query_engine = index.as_query_engine( similarity_top_k=10, node_postprocessors=[BgeRerank()] # 需自定义BgeRerank处理器[^3] ) response = query_engine.query("检索问题") ``` --- ### 四、常见问题 1. **模型格式错误** - 现象：`Unsupported model format` - 解决：使用`llama.cpp`将PyTorch模型转换为GGUF格式 ```bash python3 convert.py --input-dir ./bge-reranker-large --output-gguf ./output ``` 2. **依赖缺失** - 现象：`ModuleNotFoundError: No module named &#39;xinference&#39;` - 解决：通过`pip install xinference sentence-transformers`安装依赖 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值