算力云AutoDL部署DeepSeek

背景：DeepSeek最近火得铺天盖地，同事用在线版总遇到服务器繁忙，影响体验和工作效率，纷纷要求我们技术人员部署一套，无奈公司太穷没有GPU。想到之前训练机器视觉算法租过算力平台AutoDL，于是想着在上面部署一下，大体思路就是①弄个GPU服务器 ②安装上Ollama ③pull DeepSeek ④搞一个WebUI调Ollama接口， 看着很简单，没成想踩坑许多，在此记之。

坑1：算力平台不能用官方sh脚本安装Ollama，只能手动安装
即使是科学上网下载到了官方的https://ollama.com/install.sh脚本，由于算力平台常常是虚拟出来的云服务，所以无法使用systemctl将Ollama以服务的方式启动，所以install.sh脚本也安装不了。鉴于此，可以去ollama的github下载对应的压缩包，手动解压使用，可以借鉴这两篇博客[1][2]

坑2：算力平台对外只暴漏6006端口，而且Ollama默认只监听本地IP，其他机器不能访问
对于Ollama默认只监听本地IP的问题，需要增加环境变量：
export OLLAMA_HOST=http://0.0.0.0:11434
对于算力平台只暴露6006端口的问题，可以采用端口转发或者使用cpolar内网穿透，具体参考这篇博客[3]

后记：折腾了一晚上，终于从坑里爬上来了，留下了贫穷的泪水。。。。