非常可靠，手把手教你本地部署AI大模型-llama3:70b

Meta公司一直致力于这样一个理念：“ that open source not only provides great technology for developers, but also brings the best out in people”，翻译过来就是开源不仅为开发人员提供了出色的技术，而且还将给人们带来更好的。但是前几天李彦宏说开源模型没有未来？我们的红衣大叔安全专家周总也提倡大家开源。

所以，到底开源好还是闭源好呢？

今天通过一个大模型案例来简单思考下这个问题。

下面主要介绍如何在本地部署llama3大模型，本次介绍拥有80亿参数的llama3:8B版本的部署。

大模型排名情况

简单介绍llama3大模型

Llama 3是Meta 公司开发的Llama系列模型的第三个版本，本次提供 8B 和 70B 参数大小的版本。Llama3拥有改进的推理能力。

llama3大模型的版本

模型版本	参数大小	模型大小	发布时间
llama3:70b	700亿	40GB	2024-4-18
llama3:8b	80亿	4.7GB	2024-4-18

预告了正在训练中的400B+模型，性能追赶GPT4

指令微调模型

预训练模型

开始部署

技术栈组成

• 系统：linux系统（内存16GB 、CPU4C、 存储100GB、 无显卡）

• 大模型运行框架：ollama

• 使用模型：llama3:8b

• web项目：open-webui

[本次使用8b模型，节省下载时间，如需使用其他模型，方法步骤相同，切换下载的模型即可]

第一步：安装ollama

1. linux上安装很简单,官网：https://ollama.com/

curl -fsSL https://ollama.com/install.sh | sh   

2. 修改ollama服务启动脚本

vim /etc/systemd/system/ollama.service   ...   [Service]   #增加,（不修改，后续如果其他主机调用api接口会报无法连接错）   Environment="OLLAMA_HOST=0.0.0.0:11434"   ...   

3. 启动ollama服务

systemctl daemon-reload   systemctl restart ollama