Ollama 是一个本地推理框架,允许开发人员轻松地在本地部署和运行 LLM
例如 Llama 3、Mistral 和 Gemma
Ollama 提供了一种简单的方法来部署 LLM 到本地环境。您可以使用 Ollama 的命令行界面或图形界面来完成此操作。
安装部署:
1.下载并且安装
官网下载地址 :https://ollama.com/download/linux
curl -fsSL https://ollama.com/install.sh | sh
2.# sudo vim 打开编辑器
sudo vim /etc/systemd/system/ollama.service
Environment之后