04_Ollama + gpt-oos(open ai)

注： Ollama 默认 pull 到的模型都是量化过的。

为什么要用 ollama？
因为可以不用IDE来跑大模型，不用写api，还有就是可以运行 gpt-oos .

简介

​​Ollama​​ ，它是一个开源LLM推理框架工具，专注于在本地计算机上运行、管理和部署大型语言模型（LLMs），尤其是那些基于 ​​Llama​​ 系列（如 Meta 的 LLaMA、LLaMA 2）或其他开源模型（如最近很火的 gpt-oss 、deepseek-r1、qwen3等）。

核心功能​是支持本地无代码化运行LLMs，支持模型管理，支持简化部署​​。

其中简化部署​​是提供类似 Docker 的体验，用简单命令（如 ollama run llama2）即可启动模型交互无需写 API，这点是最人性化的。

支持的模型：支持大部分开源模型，具体可以上 ​https://ollama.com/search 查询。

个人用户可以方便使用的框架之一。

一、wsl(ubuntu) 安装 Ollama

1.1 脚本自动安装

curl -fsSL https://ollama.com/install.sh | sh

1.2 手动方式

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

<