构建本地大语言模型知识库问答系统

Ollama

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。专为在本地运行大型语言模型而设计。该框架将模型权重、配置和数据整合到一个包中，优化了设置和配置细节，包括 GPU 使用情况，从而简化了在本地运行大型模型的过程。

可以将其类比为 docker（具有实现命令行交互中的 list,pull,push,run 等命令），事实上它也的确制定了类 docker 的一种模型应用标准，

官方提供了类似 GitHub，DockerHub 一般的，可类比理解为 ModelHub，用于存放大语言模型的仓库(有 llama 2，mistral，qwen 等模型，同时你也可以自定义模型上传到仓库里来给别人使用)。

在管理模型的同时，它还基于 Go 语言中的 Gin 框架提供了一些 Api 接口，让你能够像跟 OpenAI 提供的接口那样进行交互。

Ollama 安装

下载链接：https://ollama.com/download

• macOS：https://ollama.com/download/Ollama-darwin.zip
• Windows：https://ollama.com/download/OllamaSetup.exe
• Linux：curl -fsSL https://ollama.com/install.sh | sh
• Docker:https://hub.docker.com/r/ollama/ollama

模型管理

ollama 安装之后，与模型交互就是通过命令来进行的。

• ollama list：显示模型列表
• ollama show：显示模型的信息
• ollama pull：拉取模型
• ollama push：推送模型
• ollama cp：拷贝一个模型
• ollama rm：删除一个模型
• ollama run：运行一个模型

运行大模型

ollama 安装之后，可以在本地一键启动大模型（模型仓库见： https://ollama.com/library）：

ollama run qwen:1.8b  //这里使用千问1.8b https://ollama.com/library/qwen

启动之后可以直接在终端交互：

也可以使用 API 调用：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen:1.8b",
  "prompt": "你好",
  "stream": false
}'

MaxKB

2024 年 4 月 12 日，1Panel 开源项目组正式对外介绍了其官方出品的开源子项目 ——MaxKB（githu