Meta Llama 3本地部署

环境安装

项目文件
下载完后在根目录进入命令终端（windows下cmd、linux下终端、conda的话activate）
运行

pip install -e .

不要控制台，因为还要下载模型。这里挂着是节省时间

模型申请链接

复制如图所示的链接
然后在刚才的控制台

bash download.sh

在验证哪里直接输入刚才链接即可
如果报错没有wget，则点我下载wget
然后放到C:\Windows\System32 下

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

收尾

创建chat.py脚本

# Copyright (c) Meta Platforms, I