ollama部署

之前工作就是给公司搞人工智能，最近deepseek火了，我还是把之前在ubuntu的GPU服务器上安装ollama的方式写一下吧

摘要：大模型框架，以及一站式大模型管理平台的部署，本文填写了一些部署的方式以及遇到一些问题的解决方法

各个组件的要求

python	3.10+
CPU	4核
内存	8G

服务介绍

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，用来进行模型拉取，模型运行等

一.ollama安装

（1）官方地址https://ollama.com/

（2）官方提供脚本安装，直接使用脚本进行安装

curl -fsSL https://ollama.com/install.sh | sh

简单傻瓜式安装比二进制方便多了

（3）安装完毕后需要进行更改

第一处，查看想要使用的显卡编号 ，我这里使用0，1两个显卡

第二处，修改启动文件

Environment="OLLAMA_HOST=0.0.0.0" #服务启动后对外的地址 Environment="CUDA_VISIBLE_DEVICES=0,1" #指定显卡使用的显卡块 Environment="OLLAMA_MODELS=/data/ollama/models" #指定模型存储位置

这个是systemctl启动的代码

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/root/.pyenv/shims:/root/.pyenv/bin:/root/.pyenv/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="CUDA_VISIBLE_DEVICES=0,1"
Environment="OLLAMA_MODELS=/data/ollama/models"

[Install]
WantedBy=default.target

（4）启动服务

Systemctl start ollama