Windows通过Ollama本地安装DeepSeekR1、qianwen2.5等大模型,并实现调用

第1章:Ollama 介绍认识安装

1、说说Ollma是什么?

Ollma是一个快速安装大模型的工具,因为目前市面上有很多大模型,如果我们自己每个都动手去安装,就很麻烦,使用Ollama可以一个命令就安装一个大模型,2个命令就安装两个,以此类推。
如果知道Docker的朋友,就知道Docker启动软件就是一个命令的事情,而不需要每个软件都去安装,Docker管理各种容器就好比Ollama管理各种大模型,为了方便大家理解,画了一张图。

2、Windows安装Ollama

官网: Ollama
选择对应的版本,比如windows
1、更换安装目录
注意:安装的位置尽量不要放在C盘,除非你C盘空间很大,因为大模型的下载会非常占用磁盘空间,所以尽可能安装在别的磁盘空间大的地方
执行安装命令:
OllamaSetup.exe /DIR="d:\我的\ollama"
安装需要一点时间,请耐心等待。查看版本:
ollama --version
2、要更改 Ollama 存储下载模型的位置
注意:模型的下载位置也需要更改,默认放在C盘还是会占用很大的磁盘空间
(而不是使用您的主目录),请在您的用户帐户中设置环境变量 OLLAMA_MODELS
  1. 启动设置(Windows 11)或控制面板(Windows 10)应用程序并搜索环境变量
  2. 单击“编辑您账户的环境变量”
  3. 编辑或创建一个新的变量,用于指定OLLAMA_MODELS您想要存储模型的位置
  4. 单击“确定/应用”保存。
    如果 Ollama 已经在运行,请退出托盘应用程序并从开始菜单重新启动它,或者在保存环境变量后启动一个新的终端。
    3、查看Ollama版本:
    ollama --version
    4、拉取大模型
    以deepeseek举例,b是指10亿参数的意思,最大671b就是671*10亿参数的意思,这个版本俗称(满血版),我们开发环境的话,选择(7b-14b)就可以了,否则你的电脑是拖不动的。
    另外运行满血版本的最低条件的电脑,按照目前市场价在深圳华强北需要(120W-200W)人民币,成本是比较贵的,还不考虑电费。所以开发环境就选个(7b-14b)参数的。
    拉取14*10亿参数的deepseek模型
    ollama run deepseek-r1:14b
    5、其他常见命令
    ollama list 列出下载的模型 ollma ps 列出当前加载的模型 ollma stop deepseek-r1:14b 停止模型 ollma show deepseek-r1:14b 查看模型信息
    6、运行大模型
    ollama run deepseek-r1:14b
    7、直接发送消息,收到大模型的回答
    think标签是描述的大模型的思考过程的内容。
    8、总结:

    这样我们通过Ollama安装了本地大模型,在开发环境就不需要网络也可以调用大模型了,接下来我们就开始使用程序去调用大模型,比如用Java调用,请看接下来另外的章节。

    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    菩提老师

    如果帮到了您,感谢您的鼓励

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付:¥1
    获取中
    扫码支付

    您的余额不足,请更换扫码支付或充值

    打赏作者

    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值