如何在云服务器上配置ollama、部署llama3.2大语言模型

原创 已于 2024-11-10 23:39:05 修改
· 2.7k 阅读 · 27 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型 #ubuntu #llama #prompt

于 2024-11-10 17:24:56 首次发布

本项目是在NVIDIA GeForce RTX 4090云服务器的Ubuntu22.04系统上运行系统环境为：Python 3.12、Pytorch 2.4.0、CUDA 12.1、cuDNN 8、NVCC通过VNC远程连接到服务器，服务器的租赁是在矩池云官网上。

一、服务器租赁

 

登录到矩池云官网

 

e5e38fc8d0914067a1e9e64b82ba2394.png

 

选择亚太一区，选择RTX 4090服务器，点击租用，等待启动实例

这里我们选择亚太一区是因为，亚太一区可以直接连接到外网，不受下载速度的限制，在后面下载ollama和其他模型时可以达到几百兆每秒的速度，非常快

 

52bd9f86fa9247389fcc0fd4adf9f3d0.png

45e704d2d7c5464696b2db1674ce3e93.png

 

选择Pytorch2.4.0，Ubuntu22.04环境，开启VNC

 

715e51218052415fac18945488f8f330.png

 

二、使用VNC远程连接服务器

 

下载RealVNC Viewer，并打开，VNC下载链接

 

cab747481dc2427ca92725cb7cfbdb81.png

 

选择VNC后，可以看到VNC链接和密码，点击复制链接

 

aef6099b02da4d80b4eb1db7535ed67e.png

 

将复制的VNC链接粘贴到如下的位置，按下回车键

 

673748506bfd41a8918f3fe53affd11a.png

 

此时会弹出一个窗口，点击continue

 

 

最低0.47元/天 解锁文章
迎光_
关注
如何在 Android 手机上运行 Llama 3.2，使用 Ollama 在 Android 上运行 Llama 3.2 和其他大型模型的分步指南
iCloudEnd的博客
10-01 2215
在刚刚落下帷幕的 Meta 开发者大会上，Llama 3.2 惊艳亮相，这次不仅拥有多模态能力，还与 Arm 等公司合作，推出了专门针对高通、联发科硬件优化的“移动”版本。具体来说，Meta 发布了四种型号的 Llama 3.2：具有 110 亿和 900 亿个参数的多模态版本具有 10 亿和 30 亿个参数的轻量级纯文本模型据官方数据显示，Llama 3.2 11B与90B已展现出超越同等尺寸闭源型号的性能。
Llama 3.2 使用指南：工作原理及示例
程序员陆通
09-27 1154
Meta AI 宣布发布 Llama 3.2，该版本引入了系列中的首批多模态模型。在本文中，我将梳理要点，重点介绍新的 Llama 3.2 模型的关键方面，包括它们的工作原理、用例、如何访问它们等等。
如何配置Ollama实现远程接口调用
神棍之路
02-24 3450
修改Ollama监听地址通过设置环境变量允许跨域访问设置为防火墙开放端口。
阿里云，云端部署ollama，本地调用原创教程
zy215215的博客
01-06 4356
部署自己的大模型
云服务器白菜价安装Ollama并部署云端Deepseek
最新发布
A_M_K的博客
04-18 795
本文将从购买GPU云服务器，连接云服务器，快捷安装Ollama，运行Ollama并安装Deepseek模型，开放Ollama端口支持公网访问讲解如何在节省大量成本的同时快捷部署云端Ollama模型笔者网站：prokint.top。
星海智算【Ollama-Linux镜像】云部署
2402_84709675的博客
07-11 5387
nvidia-smi在云部署前，请先查看显卡状态，如果出现异常请及时联系平台客服解决查看完显卡状态后，对现有的Ubuntu镜像的系统软件、显卡驱动、各应用软件进行升级以满足自身需求执行后需要输入Y回车，因为输出内容过多，本文档只展示最终完成结果选择install the package maintainer's version，整个安装的过程较长，请耐心等待完成后系统会自动进行重启，点击Terminal重新进入终端即可。
【部署LLaMa到自己的Linux服务器】
2401_85280228的博客
05-31 1479
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。如果你能在15天内完成所有的任务，那你堪称天才。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
云服务器+ Ollama 部署 DeepSeek-R1 保姆级教程（图文并茂版）
weixin_45922644的博客
02-04 3947
登录，进入「控制台」。：选择基础镜像。：至少或更高配置（如A100）。：建议预留100GB以上空间（模型文件较大）。开机后记录实例的。
Ollama服务器接口服务配置
m0_56441728的博客
07-27 751
图2就是运行 nano ollama.service命令后出现的样子，文件中的有2个环境变量。当你修改了服务文件或其他 systemd 配置文件时，systemd 并不会自动检测到这些更改。用vi或者nano，直接编辑ollama.service，这个文件。图1中要注意的是，ollama.service这个文件的路径，在etc目录前一定要加上“/”增加后好后，按ctrl+s，ctrl+x退出并保存。重启ollama服务。
【AI基础】租用云GPU之autoDL部署大模型ollama+llama3
旭日跑马踏云飞的专栏
06-18 7532
在这个显卡昂贵的年代，很多想要尝试一下AI的人可能都止步于第一步。这个时候我们可以租用在线的GPU资源来使用AI。autoDL就是这样的一个云平台。
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
艾醒的博客
01-30 2159
Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。
阿里云Linux服务器安装Ollama后，IP无法访问
拥有必珍惜
07-18 7848
我们使用了阿里云Linux服务器安装完Ollama，无法直接通过域名或者IP访问，但是本机可以直接通过 http://127.0.0.1:11434访问，以下是解决办法。以上是部署Ollama后，无法直接通过IP访问对应的解决方案。“笑对人生，智慧同行！博客新文出炉，微信订阅号更新更实时，等你笑纳~”
在 Windows 上配置 Ollama 服务并开放局域网访问
热门推荐
weixin_46759000的博客
09-12 3万+
Ollama 是一个用于部署本地 AI 模型的工具，开发者可以在自己的机器上运行模型，并通过 API 接口调用。在本地搭建 Ollama 服务后，默认只允许本地访问，而局域网中的其他设备无法直接访问该服务。设置 Ollama 的环境变量，使其监听局域网的 IP 地址。在 Windows 防火墙中开放 Ollama 服务使用的端口（如 11434）。通过以上步骤，你可以轻松地在 Windows 上配置 Ollama 服务并允许其他局域网设备访问该服务。配置环境变量。
Ollama 局域网服务器设置+客户端使用简明操作
weixin_40101756的博客
03-27 290
方式2：浏览器安装插件page assist，配置api网址为http:<hostname>:11434；tips：优选page assist插件，由于是浏览器插件，不同平台使用方式基本相同，chatbox不同平台需要下载不同安装包；方式1：安装chatbox，配置api网址为http:<hostname>:11434（win10环境检验），即可与服务端建立连接。1.让Ollama 可以被局域网内其它电脑看到(win10环境)变量值：0.0.0.0.11434。变量名：OLLAMA_HOST。
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
weixin_63782093的博客
07-19 1万+
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 1425
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Ollama部署攻略：调优技巧+最优配置=性能巅峰！
出发之前永远是梦想，上路之后永远是挑战。
02-18 1万+
Ollama配置参数调优
局域网内配置 Ollama 服务以实现远程访问
hzp666的博客
03-04 1189
现在有越来越多的开源模型，可以让你在自己的电脑或服务器上运行。使用本地模型有许多优势：●完全离线运行，保护隐私数据安全●无需支付在线 API 费用●完全离线，服务稳定，无网络延迟●可以自由调整和定制模型参数Ollama 是一个开源的基于Go语言的本地大语言模型运行框架，专门为本地电脑上部署和运行大模型而生的，类似于Docker，可以方便地下载和运行各种开源模型，比如、Llama、Qwen 等。这个工具支持 Windows、MacOS、Linux 等操作系统。
Ollama跨域配置：实现客户端通过API访问服务器端部署的Ollama服务
qq_30298311的博客
02-28 2003
Ollama 默认在本地运行，不对外提供服务，这会导致在服务器端部署的模型无法被用户通过API的形式访问到。要允许外部设备访问 Ollama 服务，需要让 Ollama 服务监听所有网络接口，而不仅仅是本地回环地址。
gpu服务器部署ollama
01-07
### 部署和配置 Ollama 的方法 #### 使用 Docker 和 GPU 支持部署 Ollama 为了在配备 Nvidia GPU 的服务器上成功部署 Ollama，可以利用带有 GPU 加速的 Docker 容器来简化这一过程。具体命令如下： ```bash docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` 这条指令启动了一个名为 `ollama` 的容器实例，并分配所有的可用 GPU 资源给该容器[^1]。 #### 处理可能缺失的依赖项 有时，在特定服务器环境中可能会遇到某些必要的软件包或驱动程序未被预先安装的情况。这取决于具体的硬件环境及其已有的软件栈设置。当发现有组件缺失时，应当依据提示信息逐一解决这些前置条件问题后再继续尝试重新安装 Ollama 应用[^2]。 #### Windows 用户注意事项 对于运行 Windows 操作系统的用户来说，官方已经推出了专门优化过的版本，不仅包含了对本地 GPU 加速的支持，还集成了易于使用的图形界面工具，使得整个安装流程更加便捷高效。即使是在不同平台上操作，Ollama 团队也致力于保持一致性的用户体验，确保安装步骤尽可能简易明了[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值