中文自然语言理解基准ChineseGLUE

• GLUE

  GLUE 是一个用于评估通用 NLP 模型的基准，其排行榜可以在一定程度上反映 NLP 模型性能的高低。 （GLUE 基准针对的是英文任务。）
  
  

• ChineseGLUE

  ChineseGLUE：为中文NLP模型定制的自然语言理解基准。

  目前拥有八个数据集的整体测评及其基线模型，目前已经有 20多位来自各个顶尖机构的自愿者加入并成为了创始会员。成员包括全国各地关注 NLP 的热心专业人士，包括清华、北大、浙大等知名高校的毕业生。

• 项目地址：点击查看

• ChineseGLUE包括：

    1）中文任务的基准测试，覆盖多个不同程度的语言任务
    
    2）公开的排行榜
    
    3）基线模型，包含开始的代码、预训练模型
    
    4）语料库，用于语言建模、预训练或生成型任务
  

• 数据集：

    8 个覆盖不同任务的有代表性的数据集，包括：
  
    1. LCQMC 口语化描述的语义相似度任务
    
    2. XNLI 语言推断任务
    
    3.TNEWS 今日头条中文新闻（短文本）分类
    
    4.INEWS 互联网情感分析任务
    
    5.DRCD 繁体阅读理解任务
    
    6.CMRC2018 简体中文阅读理解任务
    
    7. CCKS2018 Task3 智能客服问句匹配
    
    8. MSRANER 命名实体识别