MaxKB部署及使用

部署运行你感兴趣的模型镜像

使用场景

类似dify,但是部署使用更为轻便。

 github主页:

https://github.com/1Panel-dev/MaxKB

 

部署

docker部署

# 拉取镜像
docker pull 1panel/maxkb

# 启动
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages 1panel/maxkb

离线部署

本文使用docker部署,离线部署请直接官方安装手册:离线安装 - MaxKB 文档

验证

http://localhost:8080

默认用户名及密码

  • username: admin
  • password: MaxKB@123..

模型配置

创建应用

应用

直接使用

API调用

添加API Key

授权应用id

http://localhost:8080/api/application/profile

获取会话ID

填入上一步获取的应用ID,填入url中,获取会话ID

接口调用

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

### 通过 Chatbox 调用 MaxKB API 的实现方法 MaxKB 是一个用于构建本地部署的 DeepSeek 模型聊天界面的开源平台[^1]。它提供了一个智能会话界面,允许用户与 DeepSeek 模型进行交互。以下是如何通过 Chatbox 软件调用 MaxKB 应用的 API 的详细说明。 #### 1. 确认 MaxKB API 接口 在使用 Chatbox 调用 MaxKB API 之前,必须明确 MaxKB 提供的具体 API 接口信息。通常,API 文档中会包含以下内容: - 请求地址(例如:`http://your-maxkb-server/api/inference`)。 - 请求方法(如 `POST`)。 - 请求头信息(如 `Content-Type: application/json` 和可能需要的认证令牌)。 - 请求体格式(通常是 JSON 格式的数据结构)。 这些信息可以通过查阅 MaxKB 的官方文档或源码获取[^1]。 #### 2. 在 Chatbox 中集成 API 调用逻辑 Chatbox 是一个前端组件,可以使用 JavaScript 或其他语言与后端 API 进行交互。以下是一个基于 JavaScript 的示例代码,展示如何通过 AJAX 调用 MaxKB 的 API: ```javascript function sendMessageToMaxKB(userInput) { const url = "http://your-maxkb-server/api/inference"; // 替换为 MaxKB 实际的 API 地址 const headers = { "Content-Type": "application/json", "Authorization": "Bearer YOUR_API_TOKEN" // 如果需要认证,请替换为实际的令牌 }; const data = { query: userInput // 用户输入的内容 }; fetch(url, { method: "POST", headers: headers, body: JSON.stringify(data) }) .then(response => response.json()) .then(result => { console.log("MaxKB Response:", result); updateChatBox(result); // 将结果更新到 Chatbox }) .catch(error => { console.error("Error calling MaxKB API:", error); }); } function updateChatBox(response) { const chatBox = document.getElementById("chat-box"); chatBox.innerHTML += `<p><strong>AI:</strong> ${response.answer}</p>`; // 假设返回的结果包含 answer 字段 } ``` 此代码实现了将用户输入发送到 MaxKB 的推理接口,并将返回的结果显示在 Chatbox 中的功能[^1]。 #### 3. 防止频繁发送请求 为了避免用户频繁点击发送按钮导致多次请求,可以在发送请求时禁用按钮,并在请求完成后重新启用。以下是改进后的代码示例: ```javascript const sendButton = document.getElementById("send-button"); function sendMessageToMaxKB(userInput) { sendButton.disabled = true; // 禁用按钮 const url = "http://your-maxkb-server/api/inference"; const headers = { "Content-Type": "application/json", "Authorization": "Bearer YOUR_API_TOKEN" }; const data = { query: userInput }; fetch(url, { method: "POST", headers: headers, body: JSON.stringify(data) }) .then(response => response.json()) .then(result => { updateChatBox(result); sendButton.disabled = false; // 请求完成后重新启用按钮 }) .catch(error => { console.error("Error calling MaxKB API:", error); sendButton.disabled = false; // 即使出错也重新启用按钮 }); } ``` 此代码确保了用户在等待响应期间无法重复发送请求。 #### 4. 后端优化与性能提升 如果 MaxKB 的后端依赖于 PyTorch,可以通过优化模型加载和推理过程来提升性能。以下是一个基于 PyTorch 的推理代码示例: ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM device = "cuda" if torch.cuda.is_available() else "cpu" model_name = "deepseek/large" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name).to(device) def inference(query): inputs = tokenizer(query, return_tensors="pt").to(device) outputs = model.generate(**inputs, max_length=100) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result ``` 此代码展示了如何使用 PyTorch 和 Hugging Face Transformers 库进行推理,确保后端能够高效处理请求[^2]。 --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值