AutoDL ollama API服务部署

问题引出：

autoDL平台的服务器经测试是没有没有公网ip，是通过NAT进行内网穿透映射给用户的，据测试所部署的服务器应该是在docker里面，那么问题来了，如果我想把服务器内部开放的AI大模型服务器开放出去，怎么办？

第一种：frp

第二种：ssh端口复用

frp的方案过于复杂，这里就不做介绍了，而且有防火墙，不太好部署实施

那方案就只有一种了，哪个是SSH端口服务复用，其实就是端口映射（也称隧道）。很简单就一条命令：

ssh -CNg -L 11430:127.0.0.1:11434 root@connect.westc.gpuhub.com -p xxxx

我这里解释一下什么意思11430就是本地服务开放给程序调用端口，原本是准备填11434，但是怕与本地ollama API端口11434冲突，所以改成了11430；127.0.0.1:11434就是远端AutoDL平台ollama API对应接口服务，注意不是本地的，然后后面root@xxx.com -p xxxx就是ssh连接参数，xxxx是平台分配的端口，xxx.com是平台分配的域名，每个服务器不一样,需要自己去平台上看。

输入密码后会卡在这里是正常的，后面你就可以通过127.0.0.1:11430访问AutoDL上部署的ollama api服务了