自然语言转 SQL：通过 One API 将 llama3 模型部署在 Bytebase SQL 编辑器

使用 Open AI 兼容的 API，可以在 Bytebase SQL 编辑器中使用自然语言查询数据库。

出于数据安全的考虑，私有部署大语言模型是一个较好的选择 – 本文选择功能强大的开源模型 llama3。

由于 OpenAI 默认阻止出站流量，为了简化网络配置，同时进一步防止令牌泄漏，我们使用开源项目 One API 作为中转，将 Bytebase 符合 OpenAI API 规范的请求与 llama3 API 的请求相转换。

准备

• Docker 已安装
• Bytebase 已拉取并本地运行

通过 Docker 运行 llama3 模型

在 terminal 运行如下命令，以在 Docker 中使用 ollama 运行 llama3：

docker run -d -p 11434:11434 --name ollama --restart always ollama/ollam