Ollama是什么？安装部署指南

前言

此前写过2篇关于大模型思考的文章：《浅谈大模型时代的后台技术发展》、《AGI 时代的破局之道 》；对于大模型的本地部署和使用，下面我们了解一下。

Ollama是什么？

一个本地部署运行大模型的工具，一行命令一键启动，支持linux、windows和mac操作系统的安装。

Ollama支撑哪些大模型？

访问：https://ollama.com/library，列表下的大模型，它都支持。

Ollama运行大模型的配置？

Ollama只是工具，部署不同的大模型，都对我们本地环境有不同的配置要求（内存大小、CPU、GPU等等），下面举例子：

Model（大模型）	Parameters（参数）	Size（体积）	Download（运行指令）
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	70B	40GB	ollama run llama3.1:70b
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 3 Mini	3.8B	2.3GB	ollama run phi3
Phi 3 Medium	14B	7.9GB	ollama run phi3:medium
Gemma 2	2B	1.6GB	ollama run gemma2:2b
Gemma 2	9B	5.5GB	ollama run gemma2
Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar

Ollama下载的大模型在本地存储位置？

mac地址：/Users/xxx/.ollama/models

windos和linux在官网可查到地址说明，这里只用mac进行说明。

ModelFile是什么？有什么作用？

用来创建自定义模型，作为一个配置文件去指定模型推理相关设置。

比如，我们要对大模型进行微调，需要修改模型推理的参数，此时要重新创建模型，可以通过modelfile调整参数来实现。

是否有Web_UI工具，方便进行交互式访问？

有的，仓库地址：https://github.com/ollama-ui/ollama-ui

安装完成之后，访问：

http://localhost:8000/?model=llama3%3Alatest

如何评价一个大模型的快慢？

每秒钟的生成多少个TOKEN，来对大模型进行评价。

• 看日志

mac日志位置：/Users/xxx/.ollama/logs

Ollama的请求debug信息怎么看？

• 在mac日志文件可以看到。

怎么评价大模型精度？

• 人工评价

• 测试集评价

• 利用其他大模型进行评价