第二节Llama 3 微调个人小助手认知

最新推荐文章于 2024-08-18 14:34:45 发布

flairJiang

最新推荐文章于 2024-08-18 14:34:45 发布

阅读量916

点赞数 22

CC 4.0 BY-SA版权

文章标签： llama

本文链接：https://blog.youkuaiyun.com/flairJiang/article/details/138697042

XTuner 微调 Llama3 个人小助手认知

环境配置

conda create -n llama3 python=3.10

conda activate llama3

conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

下载模型

新建文件夹

mkdir -p ~/model

cd ~/model

从OpenXLab中获取权重（开发机中不需要使用此步）

或者软链接 InternStudio 中的模型

ln -s /root/share/new_models/meta-llama/Meta-Llama-3-8B-Instruct ~/model/Meta-Llama-3-8B-Instruct

Web Demo

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

flairJiang

关注关注

22
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Llama 3 微调项目实践与教程（XTuner 版）

强化学习曾小健

04-20

1622

到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。

一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）

2301_80052071的博客

05-11

2840

—““DeepSpeed将当前时刻，训练模型用不到的参数，缓存到CPU中，等到要用到了，再从CPU挪到GPU。但随之的代价就是，更为频繁的CPU，GPU交互，极大增加了训练推理的时间开销”，这个说法不完全准确。这是因为相比GPU，CPU的内存通常更加充裕，而且CPU处理这些数据时虽然速度较慢，但在训练深度学习模型时，这部分计算通常不是性能瓶颈。相反，ZeRO技术通过分片（sharding）的方式，在多个GPU之间分散存储这些参数和状态，同时可能利用CPU内存来存储那些当前不需要直接参与计算的数据。

参与评论您还未登录，请先登录后发表或查看评论

使用 XTuner 完成llama3小助手认知微调

zachary的博客

05-04

506

使用 XTuner 完成llama3小助手认知微调

Llama3-Tutorial之XTuner微调Llama3个人小助手

lldhsds的专栏

05-06

387

Llama3-Tutorial之XTuner微调Llama3个人小助手。使用XTuner微调llama3模型。但是训练后的模型丢失了之前模型的认知。3. XTuner配置文件准备。2. 自我认知训练数据集准备。1. web demo部署。

Llama3实战记录之XTuner 微调 Llama3 个人小助手认知

m0_65719612的博客

05-08

399

自我认知训练数据集准备环境配置—前面已经配置好了,直接进入环境中 conda activate llama3 cd XTuner pip install .[all] cd ~/Llama3-Tutorial python tools/gdata.py 修改名字以上脚本在生成了 ~/Llama3-Tutorial/data/personal_assistant.json 数据文件格式如下所示： [ { "conversation": [

【LLAMA3超级课堂-第二节】XTuner 微调 Llama3 个人小助手认知

qq_43687808的博客

05-07

383

XTuner 微调 Llama3 个人小助手认知

【AIGC调研系列】llama3微调具体案例

zachary的博客

04-28

1891

文本介绍了Llama3模型的微调方法，包括不同的工具和技术，以及如何进行定制化微调，以适应不同的需求和场景。

第四课：【XTuner 微调个人小助手认知】笔记

qq_44407313的博客

04-19

1068

q1:为什么要微调？A:目前现有模型都是基座模型，是为了一般性任务进行预训练，运用于实际特定领域效果不佳，需要进行领域内微调q2:两种Finetune范式：A2:增量预训练微调：基座模型学习新知识（文章、书籍、代码）指令跟随微调：模型学会对话模板，根据人类质量进行对话（高质量对话，问答数据）高质量标注原始数据——>改为标准格式数据——>添加对话模板——>Tokenized数据——>添加Label——>开始训练标准数据格式添加对话模板，不同厂家有不同的模板。

书生·浦语大模型实战营（第三期）基础岛第5关 XTuner 微调个人小助手认知

Pythonliu7的博客

08-18

826

微调（fine-tuning）是一种基于预训练模型，通过少量的调整（fine-tune）来适应新的任务或数据的方法。微调是在预训练模型的基础上，将模型中一些层的权重参数进行微调，以适应新的数据集或任务。预训练模型部分已经在大规模数据上得到了训练，它们通常是较为通用且高性能的模型，因此可以很好地作为新任务的起点。微调可以加快模型的收敛速度，降低模型过拟合的风险，并在不消耗过多计算资源的情况下获取较好的模型性能。

Llama 3 图片理解能力微调（XTuner+LLaVA 版）实践笔记

weixin_48567408的博客

05-05

1041

基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。

火爆 Reddit！多模态 Llama-3 它来了！！[全网首发微调教程]

weixin_59191169的博客

05-29

1223

随着 XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型，我们也是第一时间与 XTuner 团队取得了联系，并获得了他们已经预训练好的 Image Projector。接下来，我们将带大家基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。2.1 配置环境我们先来配置相关环境。使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境了。

Llama3-Tutorial之Llama3 Agent能力体验+微调（Lagent版）

lldhsds的专栏

05-07

823

Agent-FLAN 数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集，其通过将原始的智能体微调数据以多轮对话的方式进行分解，对数据进行能力分解并平衡，以及加入负样本等方式构建了高效的智能体微调数据集，从而可以大幅提升模型的智能体能力。可以看到，经过 Agent-FLAN 数据集的微调后，Llama3-8B-Instruct 模型已经可以成功地调用工具了，其智能体能力有了很大的提升。我们已经为大家准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。

Llama3-Tutorial之XTuner微调Llama3图片理解多模态

lldhsds的专栏

05-07

722

在训练好之后，我们将原始image projector和我们微调得到的image projector都转换为 HuggingFace 格式，为了下面的效果体验做准备。基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。我们接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。中的教程来准备微调数据。

autodl 上使用 LLaMA-Factory 微调中文版 llama3

Debroon

05-08

4973

模型路径：/root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct。adapter开头的就是 LoRA 保存的结果了，后续用于模型推理融合。强烈建议选 4090（24G），不然微调的显存不够。我们用 LoRA 微调，至少得 16G（7B模型）。俩个地方都要改：file_name、本地数据集路径。这个数据，ta会去hf官方找，我们可以设置镜像站。微调后，还可以马上测试微调结果。微调后，就找这个路径看一下。方法二：改成本地文件路径。

Llama3微调教程：超简单，人人都可以打造属于自己的GPT！

shadowcz007的博客

04-27

1451

随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。然而，Llama的优势不仅限于此。作为开源大模型，每个人都可以对其进行定制，这意味着相比GPT，它具有更强的定制性和安全性。Llama可应用于针对B端企业的自然语言处理、机器翻...

conda配置pytorch

damadashen的博客

11-03

6455

conda安装及配置pytorch开发环境！

pytorch学习

qq_53395921的博客

11-17

2607

pytorch

conda配置python环境：安装gpu版本的pytorch、torchvision、torchaudio、pytorch-cuda

最新发布

03-26

### Llama3 模型微调方法教程 #### 准备工作在开始对 Llama3 模型进行微调之前，需要确保环境已经配置完成。这通常包括安装必要的依赖库以及下载预训练模型权重文件。可以通过 `ollama list` 命令来确认当前已安装的模型版本[^1]。 #### 数据准备数据集的质量直接影响到微调的效果。对于监督式微调 (Supervised Fine-Tuning)，建议收集高质量的人类标注对话数据或者特定领域内的文本数据。这些数据应经过清洗和格式化处理以便于后续输入给模型使用[^2]。 #### 微调流程概述以下是基于开源工具链实现Llama3模型微调的一般步骤： 1. **克隆仓库**: 使用Git命令获取官方或社区维护的相关项目源码。 ```bash git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git ``` 2. **加载并部署基础模型**: 利用Ollama框架或其他支持的服务端解决方案加载初始的大规模参数集合，并将其作为服务暴露出来供进一步操作。 3. **定义目标任务架构**: 根据具体应用场景调整网络结构设计，比如增加额外分类头用于意图识别任务等扩展功能模块开发。 4. **执行实际Fine-tune过程**: 应用梯度下降算法更新选定层中的可训练变量直至满足收敛条件为止；期间需密切监控损失函数变化趋势以防止过拟合现象发生。 5. **评估性能表现**: 完成一轮迭代之后应当选取部分测试样本来验证改进后的效果是否达到了预期目标水平之上。 6. **保存最终成果物**: 将优化完毕的新版checkpoint妥善存档备份以防丢失同时方便日后重复利用价值最大化[^3]. ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3b") model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3b") def fine_tune_model(train_dataset, val_dataset): optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5) train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True) validation_loader = DataLoader(val_dataset, batch_size=8) device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) epochs = 3 for epoch in range(epochs): model.train() total_loss = 0 for step, batch in enumerate(train_loader): inputs = tokenizer(batch['text'], return_tensors="pt", truncation=True, padding=True).to(device) outputs = model(**inputs, labels=inputs["input_ids"]) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() avg_train_loss = total_loss / len(train_loader) print(f"Epoch {epoch}, Average Training Loss: {avg_train_loss}") # Save the tuned model save_directory = "./tuned_llama" model.save_pretrained(save_directory) tokenizer.save_pretrained(save_directory) ``` 上述脚本展示了如何通过PyTorch框架来进行简单的因果语言建模(Causal Language Modeling)形式下的精修作业[^4]。