[AI]windows部署Ollama

本文详细指导了如何下载和安装Ollama,包括默认安装路径的调整,以及如何配置环境变量指向大型模型存储。重点介绍了如何根据GPU选择并测试模型,如qwen:4b,下载过程全自动进行。
1、下载&&安装Ollama

下载地址:Download Ollama on Windows

1)下载完成后直接点击exe文件进行安装即可,安装程序不能选择安装目录

2)完成后执行cmd命令,输入ollama命令,如下即表示成功

2、配置模型安装目录

ollama模型默认安装地址在C:\Users\<用户名>\.ollama

因为模型较大,所以我们需要在环境变量内设置模型的安装位置,如下进行设置

变量名:OLLAMA_MODELS

变量值:模型安装位置,如D:\Ollama

注意:重启电脑

注意:重启电脑

注意:重启电脑

3、下载模型测试

上面完成了ollama安装及模型的地址配置,可在ollama官网搜索支持的模型

如我本地GPU是1060 6G,我选择qwen:4b进行测试,在官网搜索qwen进入详情页如下

copy右侧命令在命令行执行,得到如下界面

会自动检测本地是否存在并下载没有的模型,下载完成后为自动运行

### 如何在Windows操作系统上部署Ollama框架或服务 #### 准备工作 为了确保顺利部署,确认计算机满足最低硬件需求,并已安装必要的软件环境。对于Windows用户而言,官方提供了非常直观的预览版,包括了内置的GPU加速功能、访问完整模型库的能力,以及对OpenAI的兼容性在内的Ollama API,这使得操作变得更为简便[^1]。 #### 下载与安装 前往官方网站获取适用于Windows系统的最新版本安装包。下载完成后按照提示完成安装向导中的每一步设置。整个安装流程被设计得很简洁明了,旨在让用户能够快速启动并运行所需的服务。 #### 启动服务 安装结束后,在命令行工具(如PowerShell)中输入指定指令来初始化OLLAMA服务: ```powershell ollama start ``` 此命令会自动检测当前环境配置情况,并尝试连接到远程服务器以同步最新的资源文件。如果一切正常,则可以在几秒钟内看到成功消息显示于终端界面上。 #### 模型管理 接下来可以利用CLI客户端执行更多高级任务,比如加载特定类型的神经网络结构或者调整超参数选项等。例如要下载某个预先训练好的模型实例,只需键入如下语句即可实现自动化处理过程: ```powershell ollama models pull <model-name> ``` 这里`<model-name>`代表目标数据集对应的唯一标识符字符串,请根据实际应用场景灵活替换相应值[^2]。 #### 应用集成 最后为了让其他应用程序也能方便地接入这套生态系统当中去,建议进一步探索有关LangChain-Ollama插件的相关文档资料。该组件允许开发者轻松构建基于自然语言理解能力之上的交互界面原型作品,极大提高了开发效率的同时也降低了技术门槛的要求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值