本地部署可以离线访问的大语言模型,可以通过浏览器随时随地进行交互,不需要购买任何服务器只需要在您自己的笔记本电脑上 就可以完成整个的安装和部署,使用的软件都是开源免费的不需要缴纳任何费用,支持国内外主流的大模型可以使用语言对话,也可以嵌入到自己网站上做一个智能客服或者AI助手。
基本环境
系统:Windows11
显卡:RTX2060
存储:2T
内存:12
1.下载ollama 大模型管理工具
2. 安装
3.检测安装情况
http://127.0.0.1:11434/
4.下载大模型
命令行终端
查看帮助:ollama
查看所安装的大模型:ollama list
安装llama3.2:ollama run llama3.2
到了99% 后会一直停留好几分钟,这个原因是进行配置和本地启动,需要耐心等待
可以在终端验证模型是否启动成功
因为目前智能在终端进行验证,英语不好的我只能拿出翻译