Ollama模型本地部署--Ollama Desktop在windows下编译

        近来大模型开源,并且提供各种蒸馏模型让普通用户也能在本地使用各种AI进行自嗨,由于很多有兴趣的用户不一定能通过自己调用相关的API这种方式进行使用,因此推荐目前比较热门的Ollama Desktop工具在本地进行各种大模型“尝鲜”。

        本教程只针对新手和想要便捷使用但是又不知道如何完整配置的用户。

1.Ollama 安装

2.各种大模型安装

3.Ollama Desktop工具编译

4.Ollama Desktop配置

1.Ollama 安装

1.1下载安装

访问Ollama网站:Ollama 下载安装Ollama工具

进行工具下载

工具会默认安装到C:\Users\Administrator\AppData\Local\Programs\Ollama\

1.2环境变量配置

安装完成后进行环境变量配置,三个环境变量如下图所示:

1.2.1环境变量说明

1.2.1.1模型存储目录

Ollama 的默认模型存储路径如下:

C:\Users\%username%\.ollama\\models

由于大部分用户C盘空间不富裕,建议通过环境变量配置到其他大空间目录:

变量名:OLLAMA_MODELS

变量值:G:\ollama\models (请根据自身硬盘分区空间调整)

1.2.1.2 Ollama API访问地址和端口配置 

Ollama 默认的API访问地址和端口为

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值