【AI实践】Ollama本地安装大模型服务

Ollama安装运行

安装与配置

Download Ollama

安装默认在C盘，成功后，window任务栏图标会有Ollama Logo

为了不占用C盘更大的空间，修改模型下载路径，修改环境变量

下载模型

由于我电脑是第六代Intel，集显，没有独立显卡；这里选择3B比较小的模型，防止模型太大响应太慢；

在Window系统的PowerShell软件，或者Windows Terminal中输入命令

ollama run phi3

此处使用微软的phi3模型，3B的版本，2.4GB大小；

下载完成

首次安装完成，就进入了，运行模型的窗口

后续运行模型

PS C:\Users\iamlv> ollama run phi3
>>> 

回复速度如下图

另外安装运行模型llama3, 7B版本

PS C:\Users\iamlv> ollama run llama3
>>>