Instruction-Following Evaluation for Large Language Models

最新推荐文章于 2025-02-16 13:36:41 发布
最新推荐文章于 2025-02-16 13:36:41 发布
阅读量1.2k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134444925
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文介绍了IFEval，一个用于评估大型语言模型（LLM）遵循自然语言指令能力的评估基准。IFEval关注可验证指令，如特定字数要求和关键词提及次数。文章讨论了25种可验证指令和500个提示，并展示了两个市场上的LLM的评估结果。IFEval提供了一种无偏见、可复制和自动化的评估方式，未来计划扩展指令多样性和支持多模态用例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Instruction-Following Evaluation for Large Language Models》的翻译。

大型语言模型的跟随指令评估

摘要

大型语言模型（LLM）的一个核心功能是遵循自然语言指令。然而，对这些能力的评估并不是标准化的：人类评估是昂贵的、缓慢的，并且不能客观地再现，而基于LLM的自动评估可能会受到评估者LLM能力的偏见或限制。为了克服这些问题，我们为大型语言模型引入了Instruction Following Eval（IFEval）。IFEval是一个简单易用的评估基准。它专注于一组“可验证的指令”，如“写400多个单词”和“至少3次提到人工智能的关键词”。我们确定了25种可验证指令，并构建了大约500个提示，每个提示包含一个或多个可验证指令。我们展示了市场上两种广泛可用的LLM的评估结果。我们的代码和数据可以在https://github.com/google-research/google-research/tree/master/instruction_following_eval上找到。

1 引言

2 可验证指令

<

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

LLM-公共基准评估(Public Benchmark Evaluation)-指令跟随(instruction-following)：IFEval
u013250861的博客
01-28 68
LLM-公共基准评估(Public Benchmark Evaluation)-指令跟随(instruction-following)：IFEval。
Argument Quality Assessment in the Age of Instruction-Following Large Language Models
c_cpp_csharp的专栏
06-12 96
由于其对意见形成、决策、写作教育等的预期影响，对有争议问题的论点的计算处理一直受到NLP的广泛研究。在任何此类应用程序中，一项关键任务是评估论点的质量，但这也特别具有挑战性。在这篇立场文件中，我们从论点质量研究的简要调查开始，在调查中，我们确定质量概念的多样性及其感知的主观性是论点质量评估取得实质性进展的主要障碍。我们认为，遵循大型语言模型（LLM）的指令能力能够跨上下文利用知识，从而实现更可靠的评估。
大模型周报丨代码语言模型和模型即服务两篇综述，涵盖50+模型、30+评估任务和500+篇相关论文
xiaoshun007的专栏
12-05 392
我们的定量分析表明，我们的方法在提示对齐和身份一致性之间取得了更好的平衡，相较于基线方法，这些发现得到了用户研究的加强。此外，文章还讨论了代码特定的特征，如AST、CFG和单元测试，以及它们在代码语言模型训练中的应用，并指出了该领域的主要挑战和潜在的未来发展方向。2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。
中英文指令跟随评估测试集
sharejingjing的博客
06-21 1199
本文提出了一个叫FollowEval的测试数据集，从5个方面：字符串推理、常识推理、逻辑推理、空间推理、回复约束来评估LLM的指令跟随能力。
指令遵循数据集IFEval介绍：中英双语
阿正的梦工坊
12-16 4484
The IFEval dataset provides a systematic, fine-grained evaluation framework for instruction-following in large language models.
Instruction Tuning for Large Language Models_ A Survey
wh92674364543的博客
10-05 668
《Instruction Tuning for Large Language Models: A Survey》的翻译
Understanding Low-Rank Adaptation (LoRA) for Efficient Fine-Tuning of Large Language Models
bbbeoy的专栏
07-26 1087
This blog post will go into detail about how LoRA works to fine-tune LLMs, following the methodology set out in the “LoRA: Low-Rank Adaptation of Large Language Models” paper
【读点论文】Enhancing Multimodal Large Language Models with Vision Detection Models: An Empirical Study
白水空空
07-25 1164
更换检测模型后训练效果的继承。在表 5 中，我们比较了将检测模型 DINO 替换为 Grounding DINO 后 TFI-7B 和 FTBI-7B 的性能。我们使用 VQAv2、GQA∗、POPE、MM-Vet 和 SEED-Bench 进行评估，因为它们包含可以提取有效名词短语的问题。由于 Grounding DINO 的检测准确率较低，因此引入了一些噪音，导致两个模型的评估分数与 LLaVA-1.5-7B 相比有所降低。
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2283
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
5分钟看看DeepSeek-R1做过的那些基准测试题（上）
a1966565的博客
02-16 2351
MMLU（Massive Multitask Language Understanding）覆盖57个学科（如科学、人文、社科等）的英文选择题，要求模型具备广泛的跨领域知识。IFEval通过聚焦可验证指令（如字数限制、JSON格式等），实现自动化、客观的评估，帮助研究者明确模型在哪些类型指令上表现不足，并支持不同模型的对比分析。增加大学级别难题的比例：MMLU-Pro 增加了更多挑战性的大学水平考试题目，这些问题要求大语言模型在不同领域进行深思熟虑的推理，才能得出正确答案。
阿里千问团队AutoIF，让LLMs学会自我指导，简单有效，性能显著
强化学习曾小健
07-20 943
这篇论文的主要内容可以概括为以下几个要点：问题识别：大型语言模型（LLMs）需要能够遵循自然语言指令，但目前缺乏一种自动化的方法来生成高质量的训练数据，以提升LLMs执行复杂指令的能力。AUTOIF方法：论文提出了一个名为AUTOIF的新方法，用于自动生成和验证指令遵循训练数据。这个方法通过自我指导和执行反馈来增强指令的监督信号，并使用自生成的执行反馈进行质量过滤。方法细节：使用自我指导策略生成指令的变体。利用代码验证指令的正确性，生成相应的验证代码和单元测试用例。
大模型测评常用benchmark对应原始论文介绍（一）——通用能力
m0_60388871的博客
11-25 1109
该基准测试涵盖57个学科领域，包括STEM、人文学科和社会科学，旨在评估模型在零样本和少样本设置下的知识和推理能力。覆盖57种任务的大型多任务测试。每个任务根据学科和难度级别分类，例如高中、大学或专业水平。
InternLM2大模型的技术细节（3）
yorkhunter的博客
05-31 1136
24年3月来自上海AI实验室、商汤科技、香港中文大学和复旦大学的技术报告“InternLM2 Technical Report“。
大模型全链路开源体系（学习笔记）
weixin_43681522的博客
04-21 1834
随着国内央企通用人工智能的兴起，为打造大模型生态应用，各类比赛也比较火热，近期看到了上海人工智能实验室在做的书生浦语大模型，繁忙的工作之余有些业余时间跟小伙伴一起学习、打比赛，是学习笔记，也是作业。2024年1月17日，InternLM 2 已经开源，面向不同的使用需求，每个规格包含三个版本。- 7B 适用轻量级的研究和应用。- 20B 可有效支持更加复杂的使用场景。--可塑性的模型基座。--在Base的基础上，在多个能力方向进行了强化，大部分应用中考虑适用的优秀基座。
一定要看看的大模型【评测基准】及【评测报告】
热门推荐
weixin_44077556的博客
10-31 1万+
针对于复杂任务，每个模型都要多次测试其对指示模版的适应程度。
LLM的instructions - follow
ZJQ的博客
12-16 83
LLM（大型语言模型）的instructions - follow能力，即遵循指令的能力，是**指模型能够理解用户给出的各种指令（如回答问题、生成文本、翻译等），并按照指令要求准确地生成符合预期的输出内容。**
MOE排名 2024/06月底 huggingface
强化学习曾小健
06-28 987
7B左右的模型，在最常见的fp16推理需要约16-20GB显存，在AdamW使用fp16/bf16训练时需要约55-60GB显存。模型参数规模X B时，一般推理需要2-3X GB的显存，而训练则需要8-10X GB的推理显存。1212�。
用eval调用函数,免去繁琐重复的if循环调用
weixin_45494637的博客
08-05 566
标题 :一个简单的学生信息系统,用eval调用操作函数,免去重复的if循环,简化代码 使用eval函数一行就能解决用if循环需要一长串的调用,着实节约了很多时间 上面的功能函数随便写的看看就行 #显示功能 def student_info(): print("""('请选择操作===========') ('1,添加学员信息') ('2,删除学员信息') ('3,修改学员信息') ('4...
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning复现
最新发布
02-26
### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型，首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的图像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集，因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导，在已有的基础之上实施特定任务导向的指令微调过程。具体来说： - **定义目标任务**：明确希望模型执行的任务类型，比如生成图片说明、问答等。 - **调整输入格式**：确保输入遵循预期结构，即每条记录由一对或多张图像以及相应的自然语言命令组成。 - **修改损失函数**：根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值