教程：利用LLaMA_Factory微调llama3:8b大模型

已于 2024-05-26 00:25:55 修改
阅读量4.2k 收藏 36
点赞数 10
文章标签： llama 语言模型
于 2024-05-06 19:44:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_60683691/article/details/138505394
版权
本文详细指导如何下载并安装LLaMA模型，包括Meta-Llama-3-8B-Instruct版本，以及使用LLaMA-Factory进行模型环境配置、微调和导出的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、安装llama模型文件

下载地址（魔塔）：https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files

点击下载模型，复制git命令：

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

在存放模型空白处右键，点击git bash here，下载llama3模型至本地

由于文件较大，因此该过程比较久，保持下载窗口打开，知道出现下一命令行表示下载完成。

二、安装LLaMA-Factory

github:

最低0.47元/天 解锁文章
JiehanHuang
关注
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
AGI
11-07 1556
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
大模型实战—Llama3-8B 中文微调
热门推荐
04-25 8万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
小白也能微调大模型：LLaMA-Factory使用心得
python12345_的博客
01-27 2515
1. 准备好硬件（GPU）、数据；通过各方面的资讯选中你想要微调的基座模型2. 准备好代码：输入数据 + 模型 -> 在GPU上反复训练3. 训练结束以后，得到训练过程中的checkpoint + 一些log信息4. 根据log信息选一些比较有希望的checkpoint在自己的测试集上推理，获得相应的结果5. 分析结果，获得下一轮实验（数据、训练方案的迭代）思路而LLaMA-Factory就是一个很好的负责step。
魔塔下载模型
m0_68654129的博客
02-07 1263
最推荐的方法是使用环境变量或Python API，因为它们提供了灵活且直接的方式来指定下载路径。特别是 Python API 提供了更多的控制和灵活性，适合需要自动化或集成到脚本中的场景。选择适合你需求的方法，并确保你有足够的权限和磁盘空间来存储下载的模型。
使用LLaMA-Factory微调ChatGLM3
weixin_44455388的博客
12-25 6317
解决方法：将源模型中除了bin文件和pytorch_model.bin.index.json 以外的文件全部复制到导出目录中覆盖。待执行完，即可看到/root/LLaMA-Factory-main/merge路径下有了合并的模型了。（3）启动LLaMA-Factory的web页面。输入微调数据中的问题，回答贴合数据集，微调成功。将数据梳理好之后上传到data目录下。web页面和后台都会显示日志信息。可以看到也是没问题的。
用 LLama-Factory 训练和微调 LLama3，打造你的专属 AI 模型！
数智笔记
05-19 2404
微调模型涉及调整预训练或基础模型的参数，使其能够用于特定任务或数据集，从而提升其性能和准确性。这个过程包括为模型提供新的数据，并修改其权重、偏差和某些参数以最小化损失和成本。通过这样做，这个新模型可以在任何新任务或数据集上表现良好，而无需从头开始，从而节省时间和资源。通常，当一个新的大型语言模型（LLM）创建时，它会在一个大型文本数据语料库上进行训练，其中可能包含潜在有害或不良内容。在预训练或初始训练阶段之后，模型会被微调加入安全措施，确保其避免生成有害或不良的响应。然而，这种方法并非完美无缺。
Python - 深度学习系列30 - 使用LLaMA-Factory微调模型
yukai08008的博客
03-21 1352
最实用的一种利用大语言模型的方式是进行微调。预训练模型与我们的使用场景一定会存在一些差异，而我们又不可能重头训练。微调的原理并不复杂，载入模型，灌新的数据，然后运行再训练，保留checkpoints。但是不同项目的代码真的不太一样，每一个都要单独去看的话比较费神。本篇简单讨论一下用LLaMA-Factory微调模型的体验。
大模型微调之 使用 LLaMA-Factory 微调 Llama3
段智华的博客
04-25 3322
大模型微调之 使用 LLaMA-Factory 微调 Llama3使用 LLaMA Factory 微调 Llama-3 中文对话模型 请申请一个免费 T4 GPU 来运行该脚本 运行结果为： 检查 GPU 环境 更新自我认知数据集 可以自由修改 NAME 和 AUTHOR 变量的内容。 identity.json的文件内容为： 同时，加载alpaca_gpt4_en,alpaca_gpt4_zh数据集，对应alpaca_gpt4_data_en.json、alpaca_gpt4_data_zh.jso
使用Colab_LLaMA_Factory_LoRA微调_Llama3(可自定义数据）
AI ONES
05-02 718
这个过程超级简单，半个多小时在T4上就能跑完。完全可以替换成自己的数据，支持中文数据。微调过程大约需要 30 分钟。
打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析
Langchain的博客
08-22 1129
本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
基于LLaMA-Factory微调Llama3
xiangxueerfei的博客
05-30 1004
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程。
大模型微调：使用LLaMA-Factory进行大模型微调
huang9604的博客
11-23 882
在人工智能领域，大模型微调是一个热门话题，尤其是在自然语言处理（NLP）领域。本文将介绍大模型中的instruct、chat和base模型的不同点，探讨常见的微调框架，并分享我所使用的微调框架及其GitHub地址，最后详细介绍我的微调步骤。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
失业求捞！
05-17 1万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
LLaMA-Factory微调LLama2
kjzd123的博客
04-24 2833
关于如何使用LLaMA-Factory（版本0.6.2）对LLama2模型进行微调的指南。文档内容主要分为以下几个部分： 下载安装：提供了通过git克隆仓库和使用pip安装LLaMA-Factory的指令，以及使用Docker安装环境的方法。 准备数据集：包括将Excel表格数据转换成JSON格式的步骤，以及如何计算生成的JSON数据的sha1值。 单卡训练微调：介绍了如何启动web版本的训练，调整配置，以及如何开始微调过程。还包括了训练结束后微调模型的导出和使用。 多卡训练微调：介绍了使用deep
LLaMA-Factory 微调训练
qq_45437316的博客
05-21 1887
1，vllm安装很多坑，pytorch版本和cuda版本必须保持一致兼容，使用pytoch的docker镜像可用省事很多，先看pytorch的版本，pytorch版本11.8，12.1，最好是cuda11.8版本的cuda和torch。三，vllm部署（不一定是llama3的模型，自己根据 llama3_vllm.yaml 配置修改就行，配置文件中也可用修改用huggingface部署）2，vllm启动会预先分配一定的显存，也可用自行修改，如还有其他应用要启动，可用调低一些。1，数据集的准备和配置。
本地部署 Llama3 – 8B/70B 大模型！
2401_84494441的博客
07-09 5831
本地部署大模型可带来飞一般的体验，可降低延迟可微调属于私人的大模型数据安全得以保证。
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
H66778899的博客
07-16 2712
【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2464
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
llama-factory微调开源模型
最新发布
02-19
### 使用 LLama-Factory 微调开源模型 #### 准备环境与安装依赖 为了使用 LLama-Factory 对开源模型进行微调，首先需要准备合适的开发环境并安装必要的软件包。这通常涉及到设置 Python 虚拟环境以及安装 PyTorch 和其他依赖项。 #### 配置训练参数文件 配置文件定义了用于微调的具体参数和选项。对于 `Llama3-8B-Instruct` 模型而言，可以通过 YAML 文件指定这些细节[^1]： ```yaml model_name_or_path: "path_to_model" output_dir: "./results" per_device_train_batch_size: 4 gradient_accumulation_steps: 2 learning_rate: 5e-6 num_train_epochs: 3 logging_dir: './logs' ``` 此配置示例展示了如何调整批量大小、学习率和其他超参数来优化训练过程。 #### 执行微调操作 一旦完成了上述准备工作，则可通过 CLI 命令执行实际的微调流程。具体来说，就是运行如下命令来进行基于 LoRA 的微调工作[^3]: ```bash CUDA_VISIBLE_DEVICES=0 llamafactory-cli train examples/lora_single_gpu/llama3_lora_sft.yaml ``` 这条指令指定了 GPU 设备编号，并加载预设好的配置文件路径以启动训练任务。 #### 进行推理测试 完成微调之后，可以立即对该改进后的模型做初步评估。同样借助于 CLI 工具，只需更改子命令即可切换到推理模式: ```bash CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat examples/inference/llama3_lora_sft.yaml ``` 该命令允许用户与经过微调的大规模语言模型交互对话，从而直观感受其表现变化。 #### 合并权重保存成果 最后一步是将原始模型与新学到的知识相结合，形成最终版本供后续部署或进一步迭代之用。这一环节也十分简单明了: ```bash CUDA_VISIBLE_DEVICES=0 llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml ``` 通过这种方式能够有效地保留所有更新过的参数而不会丢失原有结构特性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值