如何在本地部署运行Llama3

最新推荐文章于 2025-03-25 15:35:35 发布

AIG暴躁猫叔

最新推荐文章于 2025-03-25 15:35:35 发布

阅读量1.3k

点赞数 19

文章标签：人工智能深度学习机器学习 llama

本文链接：https://blog.youkuaiyun.com/lvaolan123456/article/details/139755111

版权

Llama3 目前发布了8B和70B两种尺寸 huggingface Llama3模型主页：https://huggingface.co/meta-llama/ Github主页：https://github.com/meta-llama/llama3/tree/main ModelScope Llama3-8b模型主页：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B/summary

这里介绍下如何在本地 load Llama 3 models and run inference包括：

官方推荐的demo
ollama
LM Studio
Jan AI
GPT4All
llama.cpp等方式

Quick Start

下载模型

通过https://github.com/meta-llama/llama3/tree/main?tab=readme-ov-file 的./download.sh进行下载
需要提前去Meta官网申请，获得一个url
通过Hugging face下载

pip install huggingface-hub   huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3-8B-Instruct

也可以直接下载模型文件后上传到服务器

Run demo

# 1 create condo env for pytorch and CUDA   conda create -n py3.10-torch2.1 python=3.10   source activate   conda activate py3.10-torch2.1      # 2 下载项目及安装依赖   git clone https://github.com/meta-llama/llama3.git   export PIP_REQUIRE_VIRTUALENV=false   pip install -e .      # 3. 下载模型文件   # 注意使用官方示例时，使用的是meta-llama/Meta-Llama-3-8B/original 中的模型文件，包含16G的pth文件及params.json,tokenizer.model   # 4 run model locally   torchrun --nproc_per_node 1 example_text_completion.py --ckpt_dir Meta-Llama-3-8B/original/ --tokenizer_path Meta-Llama-3-8B/original/tokenizer.model --max_seq_len 512 --max_batch_size 6

执行效果：

内存占用情况

除了可以使用上述方法进行部署调用外，也可以使用一些大模型部署和调用工具，来快速完成各类大模型部署。目前最常用的开源大模型部署和调用工具有两类，定位类似，但功能实现各有侧重。

ollama 更加侧重于为个人用户提供更加便捷的开源模型部署和调用服务，ollama提供了openai风格的调用方法、GPU和CPU混合运行模式、以及更加便捷的显存管理方法，
vLLM 更加适用于企业级应用场景，采用的是服务端和客户端分离的模式，更适合企业级项目使用。

Run with ollama

Ollama overview

Ollama 是一个基于 Go 语言开发的简单易用的本地大语言模型运行框架。设计用于在 Docker 容器中部署 LLM，帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 3

https://ollama.com/   # 参考   https://blog.youkuaiyun.com/walkskyer/article/details/137255596

# for more details   https://github.com/ollama/ollama   # ollama 常用命令   ollama list：显示模型列表   ollama show：显示模型的信息   ollama pull：拉取模型   ollama push：推送模型   ollama cp：拷贝一个模型   o