window11 本地部署大模型拉玛3(llama3)

在这里插入图片描述
本地部署可以离线访问的大语言模型,可以通过浏览器随时随地进行交互,不需要购买任何服务器只需要在您自己的笔记本电脑上 就可以完成整个的安装和部署,使用的软件都是开源免费的不需要缴纳任何费用,支持国内外主流的大模型可以使用语言对话,也可以嵌入到自己网站上做一个智能客服或者AI助手。

基本环境
系统:Windows11
显卡:RTX2060
存储:2T
内存:12

1.下载ollama 大模型管理工具

下载地址

在这里插入图片描述

2. 安装

在这里插入图片描述

3.检测安装情况

http://127.0.0.1:11434/

在这里插入图片描述

4.下载大模型

命令行终端
查看帮助:ollama
查看所安装的大模型:ollama list
安装llama3.2:ollama run llama3.2

在这里插入图片描述
在这里插入图片描述

到了99% 后会一直停留好几分钟,这个原因是进行配置和本地启动,需要耐心等待

在这里插入图片描述
在这里插入图片描述

可以在终端验证模型是否启动成功
在这里插入图片描述

因为目前智能在终端进行验证,英语不好的我只能拿出翻译

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值