银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】

最新推荐文章于 2025-10-31 15:19:13 发布
原创 最新推荐文章于 2025-10-31 15:19:13 发布 · 2k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #银河麒麟 #linux #bge-m3

硬件

服务器配置：鲲鹏2 * 920（32c）+ 4 * Atlas300I duo卡

参考文章

https://www.hiascend.com/developer/ascendhub/detail/07a016975cc341f3a5ae131f2b52399d
鲲鹏+昇腾Atlas300Iduo部署Embedding模型和Rerank模型并连接Dify（自用详细版）

下载准备

1.bge-m3模型：https://www.modelscope.cn/models/BAAI/bge-m3
2.封装好的docker容器：mis-tei:6.0.RC3-300I-Duo-aarch64（自己去昇腾社区申请）
3.安装好docker

部署bge-m3

（1）创建容器运行

docker run -u root -e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 -itd --name=tei-m3 --net=host \
-e HOME=/home/HwHiAiUser \  
--privileged=true  \
-v /home/BAAI/:/home/HwHiAiUser/model \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
--entrypoint /home/HwHiAiUser/start.sh \
swr.cn-south-1.myhuaweicloud.com/ascendhub/mis-tei:6.0.RC3-300I-Duo-aarch64 \
BAAI/bge-m3  127.0.0.1 8068

（2）查看是否启动成功

docker logs tei-m3

在这里插入图片描述
最后出现Ready成功

测试bge-m3

curl 127.0.0.1:8068/embed \
    -X POST \
    -d '{"inputs":"What is Deep Learning?"}' \
    -H 'Content-Type: application/json'

在这里插入图片描述
这样就成功了

API

http://127.0.0.1:8068/embed   #这个就是创建的bge-m3的API，TEI格式

水一篇文章哈

Didy知识库：ollama bge-m3 部署，并实现与dify平台对接
xiezhipu的博客
11-29 1万+
这几天为了写技术博客，各种组件可谓是装了卸，卸了装，只想复现一些东西，确保你们看到的东西都是可以复现的。（看在我这么认真的份上，求个关注啊，拜托各位观众老爷了。这不，为了实验在windows上docker里运行pytorch，把docker重装了。dify也得重装：Dify基础：Dify平台的本地化部署（含windows部署中，常见问题及解决方案）结果发现，这个模型注册这里，有了一些新东西：那咱可得好好玩一玩。
零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型
举世誉之而不加劝，举世非之而不加沮，定乎内外之分，辩乎荣辱之境，斯已矣。
06-13 4033
BGE-M3是北京智源推出的多功能文本嵌入模型，支持跨语言语义匹配。利用Docker容器化和vLLM框架可高效部署该模型，实现本地运行的优势包括隐私保护、定制化和成本控制。通过配置Docker环境，使用vLLM官方镜像加载模型，并进行文本嵌入测试验证效果。该方案适合开发者快速验证模型能力，或集成到本地NLP流程中。
embedding模型bge-m3安装及Dify中调用
weixin_47938735的博客
04-16 5446
设备：Ubuntu GPU服务器（离线）、Windows10（联网：我的本机电脑）工具：putty（操作离线服务器）、WinSCP（文件上传）前置条件：目标服务器已安装ollama模型（我的不是用docker安装的）
嵌入模型 BGE-M3 本地部署与 Weaviate 向量库适配
最新发布
gredfdfssdf的博客
10-31 474
本指南将逐步指导您如何在本地部署 BGE-M3 模型，并将其与 Weaviate 向量库适配，实现文本嵌入的生成、存储和查询。设文本输入为 $text$，模型输出嵌入向量 $\vec{v} \in \mathbb{R}^d$，其中 $d$ 是嵌入维度（BGE-M3 的 $d=1024$）。适配的核心是将 BGE-M3 生成的嵌入向量存储到 Weaviate，并支持查询。Weaviate 允许自定义向量索引，但 BGE-M3 的嵌入维度为 $d=1024$，可直接使用。
昇腾300I npu部署bge-m3 embedding模型
2201_76008113的博客
07-08 1052
摘要：本文介绍了使用mis-tei镜像部署bge-m3模型的步骤。首先需申请并下载昇腾镜像仓库的mis-tei镜像，然后通过docker命令启动容器，配置环境变量、挂载目录等参数，指定entrypoint脚本。最后进行API测试，通过curl发送请求验证服务是否正常运行。部署过程需注意镜像版本、设备ID等配置参数的正确设置。全文提供了详细的命令行操作示例，便于开发者参考实施。（150字）
ai之嵌入模型bge-m3:latest的本地部署
nalanxiaoxiao2011的博客
06-17 4294
ai之嵌入模型bge-m3:latest的本地部署
BGE-M3部署使用（1024维）
weixin_49103875的博客
04-01 1733
Ubuntu下BGE-M3部署使用
BGE-M3部署教程：本地服务器到云端集群的完整方案
gitblog_01000的博客
09-22 1129
### 1.1 硬件要求 | 部署场景 | CPU核心数 | 内存容量 | GPU要求 | 存储空间 | |---------|----------|---------|---------|---------| | 开发测试 | ≥4核 | ≥16GB | 可选 | ≥20GB | | 生产单机 | ≥8核 | ≥32GB | ≥12GB显存 | ≥50GB ...
使用deepseek和bge-m3搭建本地知识库
2401_85390073的博客
02-25 9769
想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。
精选资源
deepseek私有化RAG思路 ollama 运行deepseek模型和向量化模型bge-m3，anything 实现喂数据到向量化数据库milvus，deepseek4j结合便可以实现RAG私有
03-14
这一技术路径的实现依赖于一系列先进的模型和工具，其中ollama负责运行deepseek模型和bge-m3向量化模型，而anything则用于将数据喂入向量化数据库milvus。在这一流程中，deepseek4j扮演了至关重要的角色，通过提供...
ollama离线部署加载Bge-M3向量模型
不会飞的小龙人的博客
09-29 1158
摘要：Ollama是一个开源工具（ollama.ai），支持在本地离线运行大语言模型（LLM），适用于数据敏感场景和开发者测试。支持模型包括Llama2、Mistral、CodeLlama等。部署方法包括下载二进制文件或使用安装脚本，通过环境变量配置API访问。集成BGE-M3向量模型时需注意格式兼容性（仅支持GGUF格式），需通过Modelfile导入并使用API调用嵌入功能。BGE-M3适用于多语言检索、语义搜索等场景，通过Ollama的/api/embed端点生成文本向量。相关资源包括模型下载地址和A
BGE-m3 和 BCE-Embedding 模型对比分析
吉米_王
04-25 1630
BGE-m3 和 BCE-Embedding 模型对比分析
安装Embendding模型（bge-m3）并且关联Dify
欲买桂花同载酒的博客
02-20 4873
在使用Dify进行知识库创建的时候，我们可以设置它的索引方式是高质量还是经济模式。如果想使用高质量的索引方式，就必须安装Embendding模型。下面我们来介绍下如何安装Embendding模型（bge-m3）并且将其关联到Dify平台。
使用 vLLM 部署 bge-m3 / Qwen3-32B 模型（魔搭模型部署）
Lilk5的博客
05-14 5296
是一个高效的大型语言模型推理和服务系统，具有低延迟、高吞吐量的特点。支持 HuggingFace 格式的模型，并且可以通过简单的命令行启动服务。
vllm本地部署bge-m3模型API服务实战教程
2401_85252837的博客
05-19 3221
本文详细介绍了在Ubuntu 24.04系统上，使用CUDA 12.8和Python 3.12环境，本地部署bge-m3模型API服务的实战教程。首先，通过Miniconda创建并激活虚拟环境，随后安装vllm、对应版本的PyTorch以及flash_attn（安装过程可能耗时较长）。接着，从魔搭社区下载bge-m3模型，并通过命令行启动API服务。最后，提供了调用API服务的示例代码，并展示了运行结果。整个过程涵盖了环境配置、模型下载、服务启动及验证等关键步骤，适合需要在本地部署bge-m3模型的开发者参
Deepseek+Ollama+Cherrystudio+beg-m3部署私人知识库
hongyan0921的博客
02-20 1870
Deepseek+Ollama+Cherrystudio+beg-m3部署私人知识库
WIN10 本地部署 BGE Embedding 向量化模型
weixin_42176639的博客
02-24 2159
type=zh&content_1=小明把小红的自行车骑坏了&content_2=被小明骑坏的自行车是小红的。type=zh&content_1=小明把小红的自行车骑坏了&content_2=被小红骑坏的自行车是小明的。本文通过 Anconda 创建虚拟环境演示，可以直接用本地环境或其他虚拟形式，Anconda 的替代包可以用。在模型文件所在的目录，打开控制台文件夹，并切换到虚拟环境 env-bge。换成相反说法，相似度仍然很高，看来是有点小问题的。
BGE-M3 API完全指南：高效调用多语言嵌入能力的最佳实践
gitblog_00611的博客
09-22 1054
在当今全球化的信息时代，处理多语言文本数据已成为AI应用的核心挑战之一。BGE-M3（BAAI General Embedding-M3）作为一款全能型多语言嵌入模型，整合了稠密检索、稀疏检索和多元向量检索三大核心功能，支持超过100种语言，处理文本长度从短句到8192个token的长文档。本文将系统介绍BGE-M3 API的调用方法，帮助开发者高效集成这一强大的多语言嵌入能力。 读完本文后，您...
【大模型-知识库之本地安装Embendding模型（BGE-M3）】
高克莱的博客
03-20 3184
通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。
docker 安装 Embedding 模型 bge-m3
07-01
### 部署 bge-m3 模型到 Docker 容器中的步骤 要在 Docker 容器中安装并配置 BGE-M3 Embedding 模型，可以按照以下流程进行操作。以下是详细的部署步骤和注意事项。 #### 1. 准备环境 确保本地系统已经安装了以下组件： - **Docker**：用于构建和运行容器。 - **NVIDIA Container Toolkit（如果使用 GPU）**：用于支持 GPU 加速推理。 - **Git（可选）**：用于从 ModelScope 或 Hugging Face 下载模型。 #### 2. 获取 bge-m3 模型 可以从 [ModelScope](https://www.modelscope.cn/models/BAAI/bge-m3) 下载模型文件。也可以使用 `git` 命令克隆模型仓库[^2]： ```bash git clone https://modelscope.cn/models/BAAI/bge-m3-CSLM-zh-cn summary -revision=summary ``` 下载完成后，将模型文件放置在服务器上的指定目录，例如 `/models/bge-m3`。 #### 3. 构建或拉取 Docker 镜像 可以选择官方的 vLLM 镜像来运行 BGE-M3 模型。执行以下命令拉取镜像： ```bash docker pull vllm/vllm-openai:latest ``` #### 4. 运行 Docker 容器 使用以下命令启动一个 Docker 容器，并挂载本地模型路径到容器内[^3]： ```bash docker run --name bge-m3 -d \ --runtime nvidia \ --gpus all \ -v /models:/root/.cache/modelscope \ --env "VLLM_USE_MODELSCOPE=True" \ -p 8000:8000 \ --ipc=host \ vllm/vllm-openai:latest \ --model BAAI/bge-m3 \ --host 0.0.0.0 \ --port 8000 \ --gpu_memory_utilization 0.9 ``` 其中： - `-v /models:/root/.cache/modelscope` 将本地模型路径挂载到容器内的缓存目录。 - `--env "VLLM_USE_MODELSCOPE=True"` 启用对 ModelScope 的支持。 - `--model BAAI/bge-m3` 指定使用的模型名称。 - `--gpu_memory_utilization 0.9` 设置 GPU 内存利用率。 #### 5. 测试模型服务 启动容器后，可以通过访问 `http://localhost:8000/v1/embeddings` 接口测试模型服务是否正常运行。例如，使用 `curl` 发送请求： ```bash curl http://localhost:8000/v1/embeddings \ -H "Content-Type: application/json" \ -d '{ "input": ["这是一个测试句子"], "model": "BAAI/bge-m3" }' ``` 如果返回正常的向量数据，则表示模型部署成功。 #### 6. 在 Dify 中调用 在 Dify 中配置嵌入模型时，选择自定义模型并填写服务地址为 `http://localhost:8000`。这样就可以在 Dify 中使用 BGE-M3 模型进行文本嵌入处理。 --- ### 常见问题排查 - **端口冲突**：检查是否有其他服务占用 8000 端口。 - **模型路径错误**：确认模型文件是否正确挂载到容器内。 - **GPU 驱动问题**：确保 NVIDIA 驱动和 CUDA 版本兼容。 - **网络连接失败**：如果遇到 `RemoteDisconnected` 错误，检查模型是否加载成功，并确认服务端日志输出。 --- ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值