ollama多平台部署方案

使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b

原创 ChatGPT PLUS 那个曾经的少年回来了

1、ollama到底是个什么玩意

一句话来说， Ollama 是一个基于 Go 语言开发的简单易用的本地大模型运行框架。可以将其类比为 docker（有类似docker中的一些常规命令list,pull,push,run 等等），事实上确实也制定了类似 docker 的一种模型应用标准，在后边的内容中，你能更加真切体会到这一点。

在管理模型的同时，它还基于 Go 语言中的 Web 框架 gin 提供了一些 Api 接口，让你能够像跟 OpenAI 提供的接口那样进行交互。

2、来看看ollama的几个命令

ollama 安装之后，其同时还是一个命令，与模型交互就是通过命令来进行的。

ollama list：显示模型列表

ollama show：显示模型的信息

ollama pull：拉取模型

ollama push：推送模型

ollama cp：拷贝一个模型

ollama rm：删除一个模型

ollama run：运行一个模型

通过在命令行运行 ollama即可查看到相关命令

如果你用过 docker 的话，那简直就是so easy。接下来我就在我的window、mac、以及小米手机上分别体验一下。

3、window上下载及体验

https://ollama.com/ 官网首页一进来就可以看到下载按钮，客户端可以在window、mac、linux等进行安装，跨平台的，真的nice啊。