《面向机器阅读理解的多任务层次微调模型》论文总结

已于 2022-04-30 19:09:47 修改
阅读量829 收藏 2
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 机器学习 自然语言处理
于 2022-04-30 19:06:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Indra_ran/article/details/124511780
本文探讨了机器阅读理解的现状和挑战，指出其在推理能力和解释性上的不足。针对这些问题，文章提出了使用‘中国法研杯’2020年司法数据集，以训练更复杂的推理模型。模型利用RoBERTa进行层次微调，包括精读和泛读模块，以提高答案抽取和证据推理的准确性。实验结果显示，这种方法能有效提升机器阅读理解的性能，特别是在司法领域的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.机器阅读理解

机器阅读理解 (machine reading comprehension,MRC) 是通过计算机理解文章语义并回答相关问题的一项重要研究任务. 让计算机系统能够理解文本的含 义, 并且做出正确的反馈, 是自然语言处理的长期目标。

作用：机器阅读理解的研究对提升机器的自然语言理解能力具有重要促进作用。同时，将机器阅读理解技术运用到智能客服问答系统中,能够更进一步的提高问答系统的扩展性和效率。

2.机器阅读理解的现状

2.1面临的问题

  • 推理性不强，缺乏可解释性
  • 缺乏大量的训练数据
  • 存在一定的限制，如限定只给出一个答案

2.2现实中的挑战

  • 实际应用中, 存在大量场景不仅需要答案, 还需要这个答案具有一定的解释性, 需要同时
    找出能够支撑该答案的相关句子。
  • 目前在司法领域的机器阅读理解研究还较少

3.提出的解决方法

采用的数据集：第三届“中国法研杯”司法人工智能挑战赛（CAIL 2020） 比赛提供的中文法律机器阅读理解数据集

3.1为什么要采用该数据集？

3.1.1主流问答数据集的弊端

对于目前主流的问答数据集（例如斯坦福的 SQuAD 数据集 [1]），问题的答案基本都在单一文档的单一（或连续的）句子中，并且这类问题大多可通过对问题和单一文档使用类似关键词匹配（keyword matching）的方式来回答。基于这些数据集训练的模型虽然在这类问题上表现不俗，但是它们对基于多个信息进行多步推理的能力表现得不尽如人意

3.1.2新型数据集的好处

现有的问答（QA）数据集无法训练可执行复杂推理和提供答案解释的 QA 系统。该数据集类似于新型问答数据集 HotpotQA，该数据集包含 11.3 万个基于维基百科的问答对，具备以下四个特点：

  1. 问题的答案必须要基于多个支持文档；

  2. 问题多样化，不局限于任何已有的知识库或知识模式；

  3. 提供句子级别的支持推理线索（supporting fact），允许 QA 系统用强大的监督进行推理，并对预测结果进行解释；

  4. 提供了新型模拟比较型问题，来测试 QA 系统提取相关线索、执行必要对比的能力。

3.2提出的模型

3.2.1任务定义

传统的机器阅读理解任务主要分为 3 大类型:

  • 填空式阅读理解,
  • 选择式阅读理解,
  • 抽取式阅读理解.

传统的抽取式阅读理解任务定义为:给定一段文本 c={w1c, w2c, …, wnc}和问题 q={w1q, w2q,…, wnq }, 通过模型从文本中抽取出对应的答案 a. 而本文研究的数据集, 除了需要从文本中抽取对 应的答案部分之外还需要额外抽取支撑该答案的句子, 即支撑答案的证据 Sk, k 为证据的句子数目. 对于上述 任务, 其定义如式 (1) 所示:

3.2.2模型构建
3.2.2.1RoBERTa 模型介绍

RoBERTa模型是BERT模型的一个改进，相较于BERT有较大的提升，是一个预训练模型。
改进的方面：

  1. 数据生成方式和任务改进：取消下一个句子预测，并且数据连续从一个文档中获得。
  2. 更大更多样性的数据：使用 30G 中文训练，包含 3 亿个句子，100 亿个字 (即 token）。由于新闻、社区讨论、多个百科，保罗万象，覆盖数十万个主题，共160+G数据。
    Byte-Pair Encoding（BPE）是字符级和词级别表征的混合。
  3. 训练更久：超过500k steps
  4. 更大批次：使用了超大（8k）的批次 batch size。
  5. 调整优化器的参数。
  6. 使用全词 mask（whole word mask）和动态的mask。

层次微调模型分为两层, 第一层我们先使用
RoBERTa 模型进行编码分别用线性层进行输出计算
损失值, 并保存最优权重, 进行第一次微调
在这里插入图片描述

第二层再结合 Retro-Reader 方法, 将模型分为精读模块和泛读模块分别读取模型 (a) 微调后的权重进行二次微调, 最后进行预测, 如图 2 中 (b) 所示.
在这里插入图片描述

3.3模型具体介绍

3.3.1编码层
  1. 编码层将问题和文章的离散符号转换为连续向量
    表示序列.
  2. 论文中使用 RoBERTa-large-wwm 来实现编码
    层. 该方法主要更改了原预训练阶段的训练样本生成策略, 将全词掩码的方法应用在了中文中, 即对组成的同一个词的汉字全部进行 [MASK].

具体操作：

  1. 首先本文使用预训练模型 RoBERTa 的词表先将
    输入的文本转化 Input=[CLS]Q[SEP]T[SEP] 的方式.
  2. 其 中 [CLS] 用于分类任务, Q 为问题, T 为文章, [SEP] 作
    为分隔符来对问题 Q 和文章 T 进行分割.
  3. Input 长度为 512, 如果总长度未达到 512, 空余部分以 0 补全. 之后将离散的符号映射至高维的向量, 通过 24 层 Transformers, 隐藏层维度为 1 024, 激活函数使用GELU函数
3.3.2层次微调方法

层次微调方法是通过 RoBERTa 预训练模型与多任务学习方法进行训练, 并保存最优的 RoBERTa 模型权重.然后再将其权重值传递给精读模块和泛读模块分别进行读取, 之后继续在对应的任务上进行训练, 从而达到一个较好的效果.

3.3.3精读模块

采用多任务学习方法,：

  1. 任务 1 为序列标注问题从
    文章中标注答案开始位置以及结束位置,
  2. 任务 2 为分类问题, 结合问题以及文章进行判断得到答案的类型.

由编码层可以得到输入层的 1 024 维向量表示, n 为 512.任务 1 中定义 BERT 的输入为 [CLS]Q[SEP]P，定
在这里插入图片描述
在这里插入图片描述

3.3.4泛读模块

在这里插入图片描述

3.3.5预测模块

精读模块的预测结果有两部分, 第 1 部分为答案类型一共有 4 种分类. 分别为截取类型 (SPAN 类型),是否类型 (YES/NO 类型) 以及不可回答类型 (UNKNOWN类型). 第 2 部分为根据问题在原文中所截取的片段

我们先取第 1 部分答案类型分类结果, 如果分类为是否类型与不可回答类型, 则直接输出答案类型作为精读模块结果. 如果为截取类型, 则取第 2 部分输出内容为结果.最后, 将精读模块预测内容与泛读模块中输出的答案支撑句进行拼接, 进行最终答案的输出, 得到如下图 的结果方便后续评估.
在这里插入图片描述

3.3.6实验参数

实验训练过程中模型采用 带有权重衰减的自适应动量估计算法 (AdamW) 作为优化算法, 学习率为 1e–5. 使用预热学习率 (warmup step),即先用较小的学习率训练, 然后每步逐渐增大, 直到达到最初设置的学习率, 批处理大小为 1, 一共训练 10 轮.

4.实验结果

4.1正面对比

在这里插入图片描述

4.2反面对比

在这里插入图片描述

5.总结

这篇文章中提出了一种多任务层次微调模型, 将答案类型预测和答案预测两个任务放入精读模块.使用多任务学习方法进行预测, 再将证据抽取任务单独分放进泛读模块, 单独进行训练预测, 最后综合两个模块的预测结果进行输出,并且选取了 BERT、ALBERT、RoBERTa、RoBERTa-large 四种不同规模的预训练模型对输出的实验结果进行了对比分析.

实验表明, 论文中所提方法可以有效提高机器阅读理解的答案抽取以及证据抽取的效果， 未来可以将把侧重点放在精读模块与泛读模块上, 以进一步对模型进行优化。

羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
andeyeluguo的博客
01-11 1380
摘要 在这项工作中，我们开发并发布了Llama 2，这是一个预训练和微调的大型语言模型(llm)的集合，范围从70亿到700亿个参数。我们的微调llm，称为Llama 2-Chat，针对对话用例进行了优化。我们的模型在我们测试的大多数基准测试中都优于开源聊天模型，并且基于我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品。我们详细描述了我们对Llama 2-Chat进行微调和安全改进的方法，以使社区能够在我们的工作基础上为llm的负责任发展做出贡献。 内容 PAGE 2 1介绍 PAGE
论文阅读-自指导self instruct：将语言模型与自生成的指令相结合
强化学习曾小健
06-23 899
大型“指令微调”语言模型（经过微调以响应指令）已经证明了将zero-shot推广到新任务的非凡能力。然而，它们在很大程度上依赖于数量、多样性和创造性有限的人工书面指令数据，因此阻碍了调优模型的通用性。论文引入了，这是一个通过自举生成来提高预训练语言模型的指令跟随能力的框架。论文的pipline从语言模型中生成指令、输入和输出样本，然后在使用它们来微调原始模型之前对它们进行修剪。将论文的方法应用于变体GPT3，证明了在超自然指令上比原始模型有33%的绝对改进。
大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调
预见未来to50的专栏
04-30 1243
然而，它的表现并不像人类生成的基线摘要那样好，后者包括了诸如Mike询问信息以便于办理入住等重要信息，而模型的完成还捏造了原始对话中未包含的信息。虽然FLAN-T5是一个表现良好且适用于多种任务的通用模型，但你可能会发现它在你的特定用例的任务中还有改进的空间。在接下来的视频中，你将了解几个指标和基准，你可以使用它们来确定你的模型表现如何，以及你的微调版本比原始基础模型好多少。在许多轮次的训练中，通过计算示例的损失来更新模型的权重，结果得到了一个指令调整后的模型，学会了同时擅长许多不同的任务。
LLMs多任务指令微调Multi-task instruction fine-tuning
AI架构师易筋
08-27 3108
多任务微调是单任务微调的扩展，其中训练数据集包括多个任务的示例输入和输出。在这里，数据集包含指导模型执行各种任务的示例，包括摘要、评论评分、代码翻译和实体识别。您在这个混合数据集上训练模型，以便它可以同时提高模型在所有任务上的性能，从而避免灾难性遗忘的问题。经过多次迭代的训练，使用示例计算的损失用于更新模型的权重，从而产生一个已经学会如何同时擅长多种不同任务的指导模型。多任务微调的一个缺点是它需要大量的数据。您的训练集中可能需要多达50-100,000个示例。
2024年大模型论文精选：微调、Transformer与混合模型热门话题全解析！
最新发布
2401_85375151的博客
04-24 961
今天分享10篇最近刚刚公布的论文，涉及大模型微调、Transformer替换、LoRA、实体关系抽取、大模型幻觉等热门研究方向。其中关于将多个模型协同混合可媲美ChatGPT，论文特别有意思。
机器阅读理解相关论文汇总
chuanzhuanxian8669的博客
09-26 602
一、综述 1 Emergent Logical Structure in Vector Representations of Neural Readers 二、论文 1. Learning Recurrent Span Representations for Extr...
MFTCoder：面向代码任务的多任务微调框架
gitblog_00659的博客
01-08 362
MFTCoder：面向代码任务的多任务微调框架 1. 项目基础介绍 MFTCoder 是由 CodeFuse 开发的一个开源项目，旨在为大型语言模型（尤其是针对代码任务的语言模型）提供精确和高效的多任务微调（Multi-task Fine-tuning, MFT）解决方案。该项目使用 Python 编程语言，结合了先进的深度学习技术，为大型语言模型的多任务训练提供支持。 2. 项目的核心功能 多...
最新最全论文合集——机器阅读理解
AI_Conf的博客
01-28 834
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
多模态大模型 Monkey、TextMonkey、Mini-Monkey ---- 论文阅读
学无止境
03-31 2171
TextMonkey为了解决大模型对于文档图像的分辨率问题，使用了滑动窗口并且采用了零初始化的移位窗口注意力来对多窗口建立关系。为了解决视觉 token 的冗余，提出使用 token 重采样来有效减少 token 的数量。同时针对大模型容易出现的幻觉问题，加入了面向文本的任务，增强模型对空间关系的感知和理解。
计算机视觉与机器学习之文档解析与向量化技术加速多模态大模型训练与应用——文件向量化大模型！
python122_的博客
07-02 1473
在人工智能时代，多模态大模型的发展不仅仅是技术创新的产物，它更是对人类交互和信息处理方式的一种模拟。我们的世界是多模态的：我们不仅阅读文字，还观察图像，聆听声音，感受触觉。多模态大模型试图通过模拟这种丰富的信息处理方式来增强机器的理解能力。这些模型的核心优势在于它们的整合能力。传统的单模态系统在处理单一类型数据时可能表现出色，但它们无法捕捉跨模态的复杂关系。例如，一段视频内容不仅包含视觉元素，还可能包含重要的音频信息，甚至是文字信息（如字幕或场景中的文本）。
AI：159-大模型的学习路线图推荐—多维度深度分析
一键难忘的博客
01-22 3888
大模型的初心是让训练出来的模型具备不同领域的认知力，既能有泛化的能力，又能有自我进化的能力。未来，大模型将致力于构建通用的人工智能算法底层架构，将模型的认知力从单领域泛化到多领域融合，在不同场景中自我生长，向可持续、可进化的方向发展。尽管大模型在很多任务上已经取得了显著的成果，但仍存在一些局限性，如数据集的规模和质量、模型的泛化能力、训练的效率和稳定性等。● 模型可解释性的提高：目前的大型模型往往难以解释，未来随着技术的不断发展，大型模型的解释性将会得到提高，人们将能够更好地理解模型的工作原理和决策依据。
一种基于多任务联合训练的阅读理解模型
07-06
机器阅读理解是一项针对给定文本和特定问题自动生成或抽取相应答案的问答任务，该任务是评估计机系统对自然语言理解程度的重要任务之一。相比于传统的阅读理解任务，多文档阅读理解需要计算模型具备更高的推理和理解能力。为此，提岀一种基于多任务联合训练的阅读理解模型，该模型是由一组功能各异的神经络构成的联合学习模型，其仿效人们推理和回答冋题的基本方式分别执行文档选择和答案抽取两个关键步骤。档选择过程融入了基于注意力矩阵的关联性判别机制，旨在建立各文档间的联系，而答案抽取过程则使用了语级的双向注意力机制，来找寻与答案相关的文字线索，将两者附着于一套神经阅读理解模型上，可形成一种基于合学习的多文档阅读理解方法。在Hotpotqa数据集上的实验结果表基线模型相比，该模型的EM值和F1值分别提升了2.1%和1.7%。
微调中的多任务学习
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
04-14 523
多任务学习（Multi-Task Learning, MTL）是一种机器学习方法，它同时处理多个相关任务，共享模型的某些部分，从而提高学习效率和性能。在微调中，多任务学习可以通过同时优化多个任务的目标函数，使模型在多个任务上表现更优。Python复制Python复制# 情感分析任务# 主题分类任务# 总损失多任务学习通过同时处理多个相关任务，提供了一种高效且资源友好的微调方法。本文介绍了多任务学习的核心思想、代码实现和应用场景，并提供了需要注意的事项。
论文笔记1:《基于跨文章答案验证的多文章机器阅读理解》(ACL 2018) Yizhong Wang等
qq_33476409的博客
03-20 619
0 摘要 真实网络数据的机器阅读理解（MRC）往往需要机器通过分析搜索引擎检索到的多个文章来回答问题。与单文章MRC相比，多文章MRC更具有挑战性，因为可能从不同文章得到多个混淆候选答案。为了解决者问题，本文提出端到端的神经网络，使得不同文章得到的候选答案可以基于它们代表的内容互相验证。具体地讲，我们的模型联合训练三个模块，即基于三个因素预测答案：答案的边界、答案内容及多文章间答案验证。实验结果...
深度学习解决机器阅读理解任务的研究进展
wzy的博客
09-27 1702
关于阅读理解，相信大家都不陌生，我们接受的传统语文教育中阅读理解是非常常规的考试内容，一般形式就是给你一篇文章，然后针对这些文章提出一些问题，学生回答这些问题来证明自己确实理解了文章所要传达的主旨内容，理解地越透彻，学生越能考出好的成绩。 如果有一天机器能够做类似于我们人类做阅读理解任务，那会发生什么呢？很明显教会机器学会阅读理解是自然语言处理（NLP）中的核心任务之一。如果哪一天机器真能具备相
微调技术的多任务学习策略
AI架构师小马
03-24 1145
在当今人工智能飞速发展的时代,机器学习模型的训练和应用已经成为了非常重要的技术课题。其中,微调(Fine-tuning)技术作为一种有效的迁移学习方法,在提高模型性能、缩短训练周期等方面发挥了关键作用。与此同时,多任务学习(Multi-task Learning)也是机器学习领域的一个热点研究方向,它能够让模型同时学习多个相关任务,从而提高整体性能。本文将深入探讨如何将微调技术与多任务学习相结合,提出一种行之有效的多任务微调策略,以期为相关领域的研究者和工程师提供有价值的技术见解。
干货！MFTCoder论文多任务微调技术详解
zenRRan的博客
11-17 750
来自：CodeFuse代码大模型（Code LLMs）已经成为一个专门的研究领域，通过使用代码相关数据对预训练模型进行微调来提升模型的编码能力。以往的微调方法通常针对特定的下游任务或场景进行定制，意味着每个任务需要单独进行微调，需要大量的训练资源，并且由于多个模型并存而难于维护和部署。此外，这些方法未能利用不同代码任务之间的内在联系。为了克服这些限制，我们提出了一种多任务微调框架——MFTCode...
多任务学习调参实践:超参数搜索与模型微调
AI天才研究院
05-15 995
多任务学习调参实践:超参数搜索与模型微调 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 多任务学习的兴起 近年来，随着深度学习的快速发展，多任务学习（Multi-Task Learning，MTL）作为一种提升
基于深度学习的机器阅读理解研究综述
罗伯特技术屋
02-21 301
认知智能是人工智能发展的最高阶段，其目标是让机器掌握人类的语言和知识体系，并真正理解其内在逻辑，这意味着机器开始具备分析和思考的能力。自然语言是认知科学的一项重要研究内容，用自然语言与计算机进行通信，意味着要使计算机能够理解自然语言文本的意义，以自然语言理解为核心技术的自动问答、人机对话、聊天机器人已经成为产业界和学术界的关注热点。自动问答是语言理解的重要应用领域，特别是机器阅读理解，赋予了计算机从文本数据中获取知识和回答问题的能力，它是人工智能中一项挑战性的任务，需要深度理解自然语言并具备一定推理能力。
我是大学生，我打算在学校的创新创业训练中创立一个项目。大致的方向是多模态模型的搭建。我们的课题是：基于LLaVA的多模态食物风味与健康属性对齐与生成式建议系统，大致流程就是：基于论文中的多模态模型，在Yummly66k数据集上微调LLaVA架构，通过知识蒸馏压缩大语言模型GPT获得健康数据，并利用Gradio构建交互界面，最终形成面向食物健康功效建议的多模态生成系统。请你阅读我的上传的文件，结合相关知识给出目标任务，技术路线。
03-19
<think>好的，我现在需要帮助这位大学生规划他们的创新创业训练项目。他们的课题是基于LLaVA的多模态食物风味与健康属性对齐与生成式建议系统。首先，我需要理解他们提到的各个组件，并确保技术路线合理。 首先，目标任务部分。用户提到了几个关键点：微调LLaVA在Yummly66k数据集上，知识蒸馏压缩GPT模型获取健康数据，构建Gradio界面。可能需要将这些分解成具体的任务。比如数据处理、模型微调、知识蒸馏、系统集成等。还要考虑健康数据如何与风味对齐，生成建议的逻辑，以及评估指标。 技术路线方面，先要处理数据集。Yummly66k包含图片和文本，需要清洗数据，可能需要标注或增强。然后是多模态对齐模块，使用CLIP或类似模型处理图像和文本的嵌入，确保食物图像和风味描述匹配。接下来是LLaVA微调，可能需要调整模型结构，加入适配器层，进行联合训练。然后是知识蒸馏部分，用GPT生成健康属性数据，然后用较小的模型（比如TinyLLaMA）来蒸馏，确保健康数据能被整合。最后是系统集成，用Gradio做界面，可能还需要API连接模型，设计用户交互流程。 需要注意的地方包括数据预处理是否正确，模型微调的方法是否有效，蒸馏过程中如何保持健康信息的准确性，以及系统如何实时生成建议。可能还需要考虑计算资源是否足够，比如微调LLaVA需要GPU资源，蒸馏过程的时间成本。另外，评估部分可能需要BLEU、ROUGE等指标，以及用户测试。 可能的风险点：数据集是否包含足够的健康属性信息，如果Yummly66k没有的话，可能需要额外数据源。知识蒸馏后的模型性能是否足够，是否有信息损失。多模态对齐的效果是否理想，可能需要调整模型结构或训练策略。时间安排是否合理，各个阶段是否有足够的缓冲。 需要确保技术路线中的每一步都有明确的输入输出，比如数据处理后的格式，模型训练的checkpoints，蒸馏后的模型性能指标。系统集成部分要考虑用户体验，界面是否友好，响应速度是否达标。 总结来说，需要分步骤详细规划每个任务的目标和方法，确保各模块之间的衔接，比如多模态对齐后的数据如何输入到生成式建议系统中。同时，验证每个环节的有效性，比如通过消融实验验证知识蒸馏的作用，或者对比微调前后的模型性能。</think>以下是为您设计的项目目标任务与技术路线框架，结合多模态模型与健康属性对齐的核心需求： --- ### **一、目标任务分解** 1. **多模态特征对齐** - 目标：建立食物图像（视觉模态）与风味描述（文本模态）的跨模态映射 - 关键指标：跨模态检索准确率（Top-5 ACC ≥85%） 2. **健康属性知识注入** - 目标：通过知识蒸馏将GPT营养学知识迁移到轻量级模型 - 关键指标：蒸馏后模型参数量压缩至原GPT的10%以下，保留90%关键营养知识 3. **生成式建议系统** - 目标：实现输入图像→风味分析→健康建议的端到端生成 - 关键指标：生成建议的BLEU-4 ≥0.65，人工评估满意度 ≥4/5分 --- ### **二、技术路线设计** #### **阶段1：数据工程** ```mermaid graph TD A[Yummly-66K原始数据] --> B[图像增强] B --> C[文本清洗] C --> D[健康知识标注] D --> E[构建三元组数据集] ``` - **关键技术**： - 使用CLIP-RP进行图像特征降维 - 通过TF-IDF+BiLSTM提取文本关键描述 - 引入USDA营养数据库补充健康标签 #### **阶段2：多模态对齐模块** $$ \mathcal{L}_{align} = \alpha \cdot \mathcal{L}_{contrastive} + \beta \cdot \mathcal{L}_{reconstruction} $$ 其中： - $\mathcal{L}_{contrastive}$: 跨模态对比损失 - $\mathcal{L}_{reconstruction}$: 跨模态自编码损失 **实现步骤**： 1. 基于LLaVA架构插入Adapter层 2. 冻结原视觉编码器（ViT-L/14） 3. 微调文本解码器与跨模态投影层 #### **阶段3：知识蒸馏框架** ```python class HealthDistiller(nn.Module): def __init__(self): super().__init__() self.teacher = GPT-3.5-turbo self.student = TinyLLaMA self.kd_loss = KLDivergenceLoss() def forward(self, food_features): teacher_logits = self.teacher.generate(...) student_logits = self.student(...) return self.kd_loss(teacher_logits, student_logits) ``` #### **阶段4：系统集成** **Gradio界面架构**： ``` 用户上传图片 → 视觉特征提取 → 多模态融合 → 健康属性预测 → 生成建议 → 可视化输出 ``` --- ### **三、关键创新点** 1. **双阶段蒸馏策略**： - 第一阶段：从GPT蒸馏营养学知识 - 第二阶段：对齐视觉-文本-健康三元特征空间 2. **动态注意力路由**： $$ \alpha_{ij} = \frac{\exp(\mathbf{q}_i^T\mathbf{k}_j)}{\sum_{k=1}^N \exp(\mathbf{q}_i^T\mathbf{k}_k)} $$ 在跨模态融合时动态调整视觉与文本特征的注意力权重 --- ### **四、风险评估与对策** | 风险点 | 应对方案 | |--------|----------| | 多模态对齐效果不佳 | 引入CM-ACC评估指标，采用课程学习策略 | | 健康建议生成不准确 | 构建专家验证集，设计强化学习奖励机制 | | 推理速度不达标 | 使用TensorRT量化部署，采用缓存机制 | 建议先完成LLaVA在Yummly-66K上的基线实验（建议用4×A10G GPU），再逐步加入健康模块。需要特别注意食物图像的细粒度特征提取，可尝试集成ResNet-152作为补充视觉编码器。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Indra_ran

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值