一、Ollama简介
Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。它具有以下特点:
-
跨平台支持:适用于多种主流操作系统。
-
丰富的模型库:涵盖1700+大语言模型,如Qwen、Llama等,可直接下载使用。
-
自定义能力强:用户可通过编写
modelfile
配置文件,自定义模型的推理参数,如temperature
、top_p
等,以调节模型生成效果。 -
多GPU加速:在多卡环境下,可设置环境变量指定特定GPU,提升推理速度。
二、Ollama安装教程
-
下载与安装
-
访问Ollama官网:Download Ollama on macOS,根据你的操作系统选择对应的版本进行下载。
-
下载完成后,直接安装即可。安装完成后,你可以在系统中找到一个类似羊驼的图标,点击即可运行。
-
-
验证安装
-
打开命令行工具(Windows用户可使用PowerShell,Mac用户可使用Terminal)。
-