ollma3.1本地部署

简介

ollama的部署相对简单，请按照以下步骤在命令终端符进行部署。（可能需要代理，否则下载需要等待很长时间）

硬件要求

​Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G

Mac：M1或M2芯片 16G内存，20G以上硬盘空间

在开始之前，首先我们需要安装Ollama客户端，来进行本地部署Llama3.1大模型

前往官网下载：Ollamahttps://ollama.com/

点击右上角的download下载OllamaSetup.exe，下载完毕后点击install等待安装完毕。

安装好后，请在powershell或者win+R输入cmd进入命令终端提示符进行模型的安装

安装llama3.1-8b，至少需要8G的显存，安装命令就是

ollama run llama3.1

安装llama3.1-70b，至少需要大约 70-75 GB 显存，适合企业用户，安装命令就是

ollama run llama3.1:78b

安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，安装命令就是

ollama run llama3.1:405b

详情参照：

llama3.1 (ollama.com)

安装需要等待一段时间，安装完毕后即可使用。

注意：

1.删除ollama仅需删除它的文件，地址：

C:\Users\用户名\.ollama

2.输入/?可弹出使用指南。

3.输入/bye或者ctrl+d可以终止对话。

4.再次运行的时候请输入

ollama run llama3.1