NLP-阅读理解任务学习总结概述

  • 阅读理解任务一般形式

    • 完形填空:给定一篇文章,将文章部分内容mask 掉,然后让模型根据上下文进行填充
      • 阅读理解的形式与预训练非常类似,所以对预训练模型非常适配
      • 完形填空模型,可以看做是最大化条件概率 P(a|C-a),其中 a 是被移出的内容,C 是上下文
      • 通常是对候选字典进行概率分布输出(注意力值),进行归一化后得到最大的作为结果
      • 应用场景有限
    • 多项选择:给定一篇文章、一个问题和多个备选答案,模型从多个备选答案中选择正确答案
      • 多项选择模型,可以看做是最大化概率 P(a|C,Q,A),其中 a 代表正确答案,C 是上下文,Q 是问题,A 是候选答案列表
      • 类似于双塔模型,一侧是输入文章和问题,一侧是候选答案,最终输出概率值最高的
      • 实际场景往往没有候选答案,局限性非常大
    • 片段抽取:给定一篇文章和一个问题,让模型从文章抽取连续序列作为问题的答案
      • 片段抽取任务,把文章看做是不同序列的集合,从中选择连续子序列作为答案,输出一般是start 和 end 索引
      • 模型可以看做是最大化概率 P(a|C,Q),C 是上下文(文章),Q 是问题,a 是抽取的序列集合
    • 自由生成:给定一个文章和一个问题,让模型生成一个序列回答问题,不局限于文章中的句子
      • 自由生成内容的通畅性、正确性是难点
  • 阅读理解评估指标

    • Accuracy:全部预测结果中,正确结果数量的占比
      • 完形填空和多项选择是存在标准答案的,因此一般用 accuracy 来评判
    • EM(Exact Match):预测结果与正确结果匹配,完全匹配则计数1,求的百分比
      • 常用于抽取式阅读理解
    • F1:准确率和召回率的调和平均数
      • 常用于抽取式阅读理解
    • BLEU-4:基于 n-gram 的评估指标
      • 常用于生成式阅读理解
    • Rouge-L:基于最长公共子序列的准召加权调和平均数
      • 通常用来评估自动摘要的好坏,其中 L 代表最长公共子序列
      • 常用于生成式阅读理解
  • 阅读理解的一般模型结构

    • 嵌入层
      • 用于将输入数据 embedding 操作
      • 常见的方法包括预训练、词向量技术
    • 特征层
      • 这一层主要是获取上下文特征表示
      • 常见 lstm、cnn、transformer
    • 交互层
      • 实现段落与段落、内容与问题、问题与答案之间的交互
      • 常见的方式 (单/双向)attention机制
    • 输出层
      • 产生最终的结果
      • 完形填空只需要输出最高概率分布或者最高得分的值
      • 多项选择任务需要对候选答案进行打分,得到最高得分的答案
      • 抽取式需要匹配到与问题最相关的序列结合,并输出起止索引
      • 生成式任务需要自由生成,类似 GPT-2
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

芝士AI吃鱼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值