基于deepseek + JBoltAI使用私有化embedding服务

要想发挥JBoltAI的真正实力🎯, 请持续关注我们向量空间🤩😚~

---

Hello, 亲爱的小伙伴们, 今天给dajia带来的是, 如何部署自己的embedding服务, 并且在JBoltAI中部署使用使用
下面开始介绍,

1. 私有部署embedidng服务

mkdir /app/embedding/model
# 下载embedding model到/app/embedding/model
# 模型下载地址, 留在了文章的最下方哦~
# 创建app.py, 代码如下

app.py 代码

from flask import Flask, jsonify, request
from sentence_transformers import SentenceTransformer

app = Flask(__name__)

path = "/app/embedding/model"
model = SentenceTransformer(path)

@app.route('/api/embedding',methods=["GET","POST"])
def embedding():
    data = request.get_json()
    messages = data["data"]
    result = model.encode(messages, normalize_embeddings=True)
    return jsonify(result.tolist())

if __name__ == '__main__':
    app.run(port=6006)

构建自启动脚本

# 进入路径
cd /app/embedding
# 创建脚本
touch startup.sh
# 权限
chmod 777 startup.sh
# 编辑
vim startup.sh
# 添加如下代码:

#!/bin/bash

BASE_PATH="/app/embedding"

ENV_PATH=$BASE_PATH"/env"

source $ENV_PATH/bin/activate

python3 $BASE_PATH"/app.py"

构建自启动服务

# 进入路径
cd /etc/systemd/system/
# 创建服务
touch embedding.service
# 权限
chmod 777 embedding.service
# 编辑
vim embedding.service
# 添加如下代码:

[Unit]
Description=Embedding App

[Service]
ExecStart=/app/embedding/startup.sh

[Install]
WantedBy=default.target

# 重新加载配置
systemctl daemon-reload
# 设置为自启动
systemctl enable embedding.service

2. 配置安装embedding服务

资源类型: 选择本地服务

资源名称: 用户给它的一个标识

请求URL: 填写上之前部署好的embedding服务器请求地址

模型下载地址

https://huggingface.co/BAAI/bge-large-zh-v1.5

---

要想发挥JBoltAI的真正实力🎯, 请持续关注我们向量空间🤩😚~