weixin_44772948的博客

127.0.0.1:11434就是远端AutoDL平台ollama API对应接口服务，注意不是本地的，然后后面root@connect.westc.gpuhub.com -p xxxx就是ssh连接参数，xxxx是平台分配的端口，每个服务器不一样，需要自己去平台上看。autoDL平台的服务器经测试是没有没有公网ip，是通过NAT进行内网穿透映射给用户的，据测试所部署的服务器应该是在docker里面，那么问题来了，如果我想把服务器内部开放的AI大模型服务器开放出去，怎么办？第二种：ssh端口复用。

在langchain使用openai接口，但模型使用国内deepseek,但是要先cq,API-key才能用。

新人注册好像是有免费额度的，但是要注意大多数模型都是后付费！上图为各个模型的价格表；注意输入输出都是要需要money的，输出要比输入贵。不然用着用着一栋房没了。

本地环境：ollama3.2（理论上ollama3.1以上就支持tool功能，但是笔者没有试过）(PS:不足点，在输入不是控制指令的相关问题时，大概率也会调用工具，需要后续调优）