只需3步:教你如何在本地环境运行llama3.1

今天,跟大家分享一下,如何在自己电脑上使用到最新的llama3.1大模型。

直接上教程:

1,访问这个地址:https://ollama.com/

点击“Download”,进入下载页面。

此时,你会看到下面这个页面,根据实际情况选择下载版本,我这里是选择的windows版本。

安装包下载好之后,进行安装。

2,下载安装好之后,我们在电脑中输入“cmd”,打开命令行窗口。

输入:ollama run llama3.1 后敲个回车键,第一次运行的时候,会自动帮你下载并安装llama3.1大模型,就跟我下面这个图一样。

3,稍等几分钟后,大模型安装完成,此时,你就可以在直接使用llama3.1模型,在本地环境,就可以与与大模型进行对话了。

今天的分享就到这里,希望对你有用。

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

### 使用 LLaMA-Factory 对 LLaMA3.1 模型进行微调 为了使用 LLaMA-Factory 对 LLaMA3.1 进行微调,需遵循一系列配置和命令来设置环境并启动训练过程。 #### 设置 GPU 环境 确保已安装适合的 CUDA 版本以及 PyTorch 的 GPU 支持版本。这可以通过访问 PyTorch 官网获取相应指令完成安装[^3]: ```bash conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia ``` #### 验证安装 在确认所有依赖项正确无误之后,在 LLaMA-Factory 路径下调用以下命令以检验安装情况: ```bash llamafactory-cli version llamafactory-cli train -h ``` #### 准备数据集与模板文件 对于特定应用领域或任务的数据准备至关重要。假设已经准备好用于微调的数据集,并将其放置于 `data` 文件夹内。另外,还需编辑身份信息以便更好地适配自定义需求[^5]: ```python import json %cd /content/LLaMA-Factory/ NAME = "Gavin大咖打造的Llama3人工智能助手" AUTHOR = "LLaMA Factory" with open("data/identity.json", "r", encoding="utf-8") as f: dataset = json.load(f) for sample in dataset: sample["output"] = sample["output"].replace("NAME", NAME).replace("AUTHOR", AUTHOR) with open("data/identity.json", "w", encoding="utf-8") as f: json.dump(dataset, f, indent=2, ensure_ascii=False) ``` #### 启动 Web UI 或者直接运行微调脚本 有两种方式来进行实际的微调操作:通过图形界面 (WebUI) 或者命令行工具执行。这里提供两种方法的选择依据个人偏好而定。 ##### 方法一:利用 WebUI 方便调试 开启 WebUI 前先设定好使用的模型仓库为 ModelScope[^2]: ```bash export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui ``` ##### 方法二:直接调用 CLI 工具快速上手 此法适用于熟悉命令行操作的用户群体,只需指定必要的参数即可开始训练进程[^1]: ```bash CUDA_VISIBLE_DEVICES=1 \ llamafactory-cli webchat \ --model_name_or_path [your path]/llm/Meta-Llama-3.1-8B-Instruct/ \ --adapter_name_or_path [your path]/llm/LLaMA-Factory/saves/Llama-3.1-8B/lora/sft-3/ \ --template llama3 \ --finetuning_type lora ``` 请注意替换 `[your path]` 为具体的本地存储位置。 #### 参数调整建议 由于不同应用场景下的最优超参可能有所差异,因此推荐根据具体情况进行适当调节。虽然不存在绝对标准的最佳实践指南,但可以根据以往经验总结出一些较为合理的区间范围作为参考起点[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值