MoDS: Model-oriented Data Selection for Instruction Tuning

本文主要用于记录学习的过程,如有理解错误的请指正。

该论文主要通过模型驱动,实现自动筛选高质量的Instruction tuning数据选取,实现大模型的能够和人类的意图进行对齐。

摘要:

一些论文证明Instruction tuning证明只需要很少的数据集就可以实现与人类意图对齐,并且大模型LLM并不能从Instruction tuning中学到东西,仅仅是生成一些可靠的格式。该论文提出通过模型,自动化选取一些少量并且高质量的数据。论文中认为从三个方面,Instruction tuning数据质量、多样性,以及必要性三个方面进行Instruction tuning数据的选取。

  • 对于数据质量:质量要求所选的指令数据对问题和答案都足够好。
  • 对于数据多样性:覆盖范围要求所选指令数据足够多样化。
  • 对于数据的必要性:必要性表明所选的指令数据确实填补了感兴趣的LLM的能力空白。

正文:

对于模型的设计,数据选择模型的设计从数据质量、多样性、必要性三个方面进行设计,模型结构图如下:
Refused

  • 数据质量:
    在这里插入图片描述
    数据质量则是利用huggingface已经训练的一个模型,reward-model-deberta v3-large去给Instruction tunning 数据进行打分,将数据中的(instruction, input, output)进行拼接在一起,作为打分模型的输入,设置一个阈值α\alphaα。超过这个阈值α\alphaα则认为是高质量的数据,否则亦然。
  • 数据多样性:
    对于数据多样性,则是体现大模型,回答是否更加多样性。采用K-Center-Greedy,进行实现。
    通过bert(或者其他向量模型)将文本转成向量,我理解就是实现一个K个中心点的算法,简单理解实现多个簇(肯能叙述不严谨),实现算法如下:
    在这里插入图片描述

必要性

必要性,主要是因为模型学习的内容和学习的程度不同,因此需要针对不同的模型去评估模型已经学习了哪些内容,在上述两个操作之后的结果A。对A进行补充额外的数据B。模型图如下所示:
在这里插入图片描述

如何获取数据B呢,首先我把A作为基础的数据集对LLM进行微调,然后评估微调的指令生成回答同样采用reward-model-deberta v3-large模型设置阈值β\betaβ, 如果小于β\betaβ,则通过K-Center-Greedy选择一个子集。就可以获得A的扩增数据B。

实验结果

在这里插入图片描述
消融实验:数据多样性次啊用K-center Greedy和随机采样进行对比
在这里插入图片描述

### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型,首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的图像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集,因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导,在已有的基础之上实施特定任务导向的指令微调过程。具体来说: - **定义目标任务**:明确希望模型执行的任务类型,比如生成图片说明、问答等。 - **调整输入格式**:确保输入遵循预期结构,即每条记录由一对或多张图像以及相应的自然语言命令组成。 - **修改损失函数**:根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值