Ollama安装运行deepseek及qwen3的一些坑

1. 首先官方教程里linux下安装Ollama的命令为：

curl -fsSL https://ollama.com/install.sh | sh

这个教程简单但比较适合老美或者网络特别好的地方（连接国外网络）

对于国内连接外网比较慢的，要从外网下载1.2G多的安装包就够呛了，这种情况会出现大部分时间在蜗牛般地下载中

解决办法：

单独下载ollama的安装包，放在本地直接从本地安装。

下载方法：

在Ollama的github官方链接里下载安装包（可用相关下载工具）：https://github.com/ollama/ollama/releases
或者在百度网盘下载v0.10.1

然后放在本地，修改install.sh里的对应代码
 

curl --fail --show-error --location --progress-bar \
    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
$SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

修改为：

#curl --fail --show-error --location --progress-bar \
#    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
$SUDO tar -xzf ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"

保存运行install.sh即可。

2. 直接解压ollama-linux-amd64.tgz直接运行也可以，但里面有坑，直接运行的没有设置service，并且默认会用CPU进行计算，速度特别慢。

3. 在用install.sh安装后，Ollama默认并不是均衡使用多张GPU卡的（如果有多卡），所以最好在service里添加对应的环境变量，让它将负载均衡到各个卡里，常见的变量如下：

Environment="CUDA_VISIBLE_DEVICES=0,1,2,3" 表示让ollama能识别到几张显卡
Environment="OLLAMA_SCHED_SPREAD=1" 表示将识别到的几张卡均衡使用
Environment="OLLAMA_KEEP_ALIVE=-1" 表示模型一直加载, 不自动卸载

对应修改方法：

vim /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/anaconda3/bin:/usr/local/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/>
Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"
Environment="OLLAMA_SCHED_SPREAD=1"
Environment="OLLAMA_KEEP_ALIVE=-1"

[Install]
WantedBy=default.target

4. 下载模型的存放位置的坑：

如果没有运行install.sh，单独运行ollama程序，默认下载模型的路径存放在~/.ollama/models

如果通过install.sh安装的，默认模型下载的路径在：/usr/share/ollama/.ollama/models

如果要修改模型的默认存放位置，修改service文件，将环境变量加上即可，例如：
Environment="OLLAMA_MODELS=/data/home/ubuntu/.ollama/models"

存放路径尽可能统一，否则不同用户运行的时候模型容易重复下载，浪费时间和空间。

5. 下载模型方法：

ollama pull deepseek-r1:70b

ollama pull qwen3:32b

因为模型是放在CDN上，一般下载速度还挺快，如果慢的话可以找快的节点下载后打包放到上述模型存放路径里即可。