Cloud Studio 部署gemma3,映射本地端口到域名,进行外部访问

Cloud Studio(云端 IDE)

选一个(试用 free)高性能workspce,约么16G显存

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.105.17   Driver Version: 525.105.17   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            On   | 00000000:00:09.0 Off |                    0 |
| N/A   48C    P8    15W /  70W |      5MiB / 15360MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

部署gemma3

16G的显存,选了12b的模型 ollama install,要是显存够用,模型size往上堆就完了
ollama
cloud studio workspace内置ollama服务,下载

ollama run gemma3:12b

ollama

如遇到ollama 错误

writing manifest 
success 
Error: llama runner process has terminated: this model is not supported by your version of Ollama. You may need to upgrade

需要升级内置的ollama版本,到v0.6.0

# 停止当前运行的 Ollama 服务
sudo systemctl stop ollama
# 下载最新安装脚本并重装
curl -fsSL https://ollama.ai/install.sh | sh
# 重启服务
sudo systemctl start ollama

查看ollama版本和model(需要重启)
ollama

绑定域名+端口映射

腾讯云CloudStudio:喂饭教程:10分钟部署一个DeepSeek,支持网页调用!关键还免费!

总结

这一套方案是将cloud studio的高性能工作空间做成了ollama service,并将本地ollama的端口映射到了公网域名,可以外部访问。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值