windows系统个人安装AI大模型工具ollama并配置大模型

免费精神需要鼓励,请抬手点赞收藏。

参考:https://blog.youkuaiyun.com/m0_74488469/article/details/153696435?ops_request_misc=&request_id=&biz_id=102&utm_term=ollama%E4%B8%8B%E8%BD%BD%E5%AE%89%E8%A3%85&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-6-153696435.142^v102^pc_search_result_base9&spm=1018.2226.3001.4187

一、安装ollama

1、下载ollama

https://ollama.com/download/windows
从地址里下载,文件很大,如果用浏览器跨墙下载速度很慢只有几KB,个人建议是在下载按钮中复制文件链接,到迅雷里下载,很快的。
2、把文件复制到C盘以外的磁盘,比如我是复制到D盘指定目录ollama。 如果C盘空间足够的可以考虑安装到C盘。

如果是直接用鼠标点击运行EXE文件,他会给你安装到C盘的默认目录里。


3、在该路径下打开CMD终端,我是先打开CMD,然后通过命令进入这个路径的。

4、CMD窗口输入安装指令:OllamaSetup.exe /DIR=D:\ollama

语法:安装包名称 /DIR=应用程序指定安装的目录

输入命令之后,等待5-10秒左右,系统会自动打开安装包,点下一步安装,他会自动安装到当前目录。   

如果是直接用鼠标点击运行EXE文件,他会给你安装到C盘的默认目录里。


二、配置环境变量

1、按如下图步骤打开环境变量。

2、修改AI大模型的下载路径。

直接在Ollama安装路径下创建了一个models文件夹作为存储路径:D:\ollama\models;然后在系统变量栏,新建一个变量,变量名为:OLLAMA_MODELS
变量值为:D:\ollama\models

3、验证ollama的环境变量

在CMD中输入命令:ollama -v 

如果成功了会显示版本号,如下所示。如果不成功,可以考虑重启电脑再试。

4、可选步骤:如果上面第3步没有验证成功ollama的版本号,可能需要配置ollama的运行目录。

到系统变量下面的 path节点中双击打开,然后在path下面新建一个ollama运行目录。如下图所示:

5、可选步骤:访问环境变量的配置,配置服务监听地址。

(1)新建用户变量,配置允许外部网络访问。变量名:OLLAMA_HOST,变量值:0.0.0.0。

监听ip地址默认为127.0.0.1,限本机访问。

(2)http请求配置监听。变量名:OLLAMA_ORIGINS,变量值:*


三、部署大模型,比如deepseekr1

1、进入官网的模型链接中 https://ollama.com/search。搜索deepseekr1

2、进入deepseekr1模型列表后,根据自己电脑的显存大小,匹配去找合适的模型大小点进去。可以用百度ai搜索一下自己的显存适合多大的模型文件。

3、在指定模型详情里,复制安装命令,到CMD窗口粘贴安装。如果下载的速度慢,我们可以ctrl + c停止运行,然后按“向上”箭头,加载刚才的命令重新下载,这个时候速度可能有提高

4、验证大模型。输入提问,验证模型是否能回答。

5、一些常用命令。

(1)/bye,退出

 (2)ollama list,查看已安装了的模型

(3)ollama run 模型名称-版本号:大小,命令运行指定模型,比如:ollama run deepseek-r1:14b

注意,运行大模型时,要指定安装的模型大小(小版本号),不然可能会给你安装一个默认的,比如你输入:ollama run deepseek-r1,他可能给你安装deepseek的默认版本5G的那个。

(4)ollama rm 模型名称:大小,删除某个大模型,比如ollama run deepseek-r1命令就会安装默认的5.2G的版本,删除命令如下:ollama rm deepseek-r1:latest

6、ollama程序窗口界面安装大模型。

经过测试,新版本的ollama程序,在交互界面就可以自动安装大模型。 在交互界面右下角选中某个大模型,发出一个message,他就会自动下载这个大模型。 所以在运行交互界面时,我们要谨慎选择大模型,你随便选一个没安装过的模型交互的话他自动安装会把你的磁盘填满了。

四、其他

1、环境变量配置的大模型下载路径,实际失败的处理。查看前面配置的下载路径,发现下载的大模型没有到这里来。
 

Ollama 下载的大模型默认是放在你系统用户目录下的 .ollama/models 文件夹里,比如在 Windows 上就是 C:\Users\你的用户名\.ollama\models。我们到这里去找。

可以手动把 C:\Users\你的用户名\.ollama\models 里的 blobs 和 manifests 文件夹剪切到新路径,再更新环境变量指向新位置。我这里前面配置过了, 下载的还是到了默认地址,那就可能是配置环境变量之后没有重启过ollama,重启一下,再运行ollama看能正常使用不。我这里发现models目录前移之后运行不了。那就使用映射路径的办法,如下面的第2步。

2、映射models路径。如果C盘空间不够,不能让模型存在默认路径,那我们就把模型迁移到新路径,比如我的安装路径D:\ollama\models,然后建立一个目录映射。

在CMD中,输入命令,进入默认路径:cd C:\Users\Administrator\.ollama
然后输入命令,创建目录映射链接:mklink /D models D:\ollama\models 
如果当前目录.ollama下存在models文件夹,就会提示“当文件已存在时,无法创建该文件。” 这时候我们删除之前默认创建的models文件夹,再次输入创建映射命令即可。

上面的默认模型目录models明显就可以看出是快捷方式了。

重新运行大模型:ollama run deepseek-r1:14b

总结:我还是格局小了,显存没有用完,而且还有虚拟GPU的16G。deepseekR1:14b的模型,说最小16G的显存,但是实际使用都只有10G左右。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值