Ollama 本地CPU部署开源大模型

Ollama可以在本地CPU非常方便地部署许多开源的大模型。

如 Facebook的llama3, 谷歌的gemma, 微软的phi3，阿里的qwen2 等模型。

完整支持的模型列表可以参考：https://ollama.com/library

它基于llama.cpp实现，本地CPU推理效率非常高（当然如果有GPU的话，推理效率会更高）, 还可以兼容 openai的接口。

本文将按照如下顺序介绍Ollama的使用方法~

⚫️ 下载安装Ollama

⚫️ 命令行交互

⚫️ python接口交互

⚫️ jupyter魔法命令交互

公众号算法美食屋后台回复关键词：ollama，获取本文notebook完整源代码~

一，下载安装 Ollama

可以从官网下载Ollama: https://ollama.com/

mac版本的压缩文件大概180M多，正常网速大概下载几分钟就下完了。

支持mac,linux, win 操作系统，跟正常的软件一样安装 。

安装好后就可以在命令行中进行交互了。

以下是一些常用的命令。

ollama run qwen2 #跑qwen2模型，如果本地没有，会先下载

ollama pull llama3 #下载llama3模型到本地

ollama list #查看本地有哪些模型可用

ollama rm #删除本地的某个模型

ollama help #获取帮助

!ollama help

Large language model runner

Usage:
  ollama [flags]
  ollam