聚焦NLG前沿技术难题，千言-生成一致性评测竞赛正式启动

飞桨PaddlePaddle

于 2021-08-07 20:40:00 发布

阅读量283

点赞数

文章标签：人工智能 html 自然语言处理 css 深度学习

原文链接：https://aistudio.baidu.com/aistudio/competition/detail/105

版权

点击左上方蓝字关注我们

自然语言生成是人工智能的重要前沿技术，该技术在落地时会面临一个难题：如何保证模型生成的文本与输入具有事实层面的一致性，即避免生成错误、臆想的信息？为推动相关研究，中国中文信息学会自然语言生成专委会与千言开源数据集项目(www.luge.ai)联合举办“面向事实一致性的生成评测比赛”。比赛于8月3日开启报名，并将在11月7日首届中国自然语言生成大会（CCNLG-2021）召开评测研讨会并举行颁奖仪式。

本届比赛以事实一致性为核心，将提供三个对事实一致性有较高要求的典型生成任务：文案生成[1]、摘要生成[2]和问题生成[3]，结合文本流畅性和事实一致性两项指标，综合评估参赛系统的效果。

除了有挑战性的赛题，百度将赞助赛事为获奖团队提供丰厚的奖金：第一名20000人民币、第二名10000人民币、第三名5000人民币。

报名及竞赛详情链接：

https://aistudio.baidu.com/aistudio/competition/detail/105

赛题背景及事实一致性简介

随着深度神经网络文本生成模型、预训练语言模型的迅速发展，自然语言生成的可读性和流畅性不断提升。然而，自动生成的文本中经常出现不符合输入的错误事实。这个问题被称为“自然语言生成的事实一致性问题”，以自动摘要任务为例，以下描述一个具体的样例：

输入：研究机构此前曾发布报告称2013年长期黄金牛市或将终结，下调黄金3个月、6个月和12个月价格预估分别至1825美元、1805美元、1800美元。近日，大宗商品分析师Damien Courvalin的研究报告进一步预期国际金价到2018年或跌至1200美元/盎。理由是除了实际利率之外,黄金与各货币之间的联动同样影响着黄金价格，不过，三个月黄金价格预估仍然看涨。

参考摘要：近涨远跌，金价2018年或跌至1200美元/盎

这是取自LCSTS数据集[2]的一个样例，对输入的文本，算法需要得出精简的摘要结果。

接下来，我们看两个由自然语言生成算法得到的结果：

结果A（事实一致）：研究机构预计国际金价近涨远跌

结果B（事实不一致）：分析师：金价2018年或跌至1800美元

可以看到，结果A正确，结果B粗看似乎也比较流畅，但事实和原文表达的内容存在事实偏差（“1800美元”vs“1200美元”）。

目前常用于评估自然语言生成效果的BLEU或ROUGE等指标，其思路均为计算生成文本与参考答案的字面匹配度。然而对结果A和结果B计算与参考摘要的字面匹配度，反而错误的结果B可以获得更高的分数，针对这个问题，我们设计和发起了本比赛。

赛程安排

阶段	时间	说明
开启报名	2021.8.3	报名阶段开始
热身阶段	2021.8.22~2021.9.21	发布训练集、开发集
正式赛	2021.9.22~2021.10.21	发布测试集1，开启在线实时榜单
正式赛-最终测试提交	2021.10.22~2021.10.23	发布测试集2，选手提交最终结果
正式赛-人工评估	2021.10.24~2021.11.6	人工评估top10队伍并确定最终排名
评测会议	2021.11.7	在评测研讨会上发布比赛结果

为确保比赛公平性，正式赛将分为3个阶段开展：

阶段1：开放测试集1，参赛队伍可在测试集1上优化模型效果，提交结果到千言平台后，会在线给出结果并更新实时榜单1；
阶段2-最终测试提交：开放测试集2，参赛队伍计算测试集2上的结果并提交到千言平台；
阶段3-人工评估：以阶段2的自动评测结果为准，排名前10的队伍进入人工评估阶段，为避免自动评估指标本身的评估偏差，将以人工评估为依据确认和公布最终排名。

参赛奖励

千言-面向事实一致性的生成评测比赛的最终获奖团队将获得：

（1）丰厚奖金：第一名20000人民币、第二名10000人民币、第三名5000人民币。

（2）荣誉证书：获奖团队将由赛事主办方颁发权威获奖证书。

同时，参赛者也将获得以下福利：

学习交流机会：在赛事群中与参赛者、组织者深入交流；
前沿学习资料：获取自然语言生成事实准确性提升方法和评估指标的前沿进展学习材料。
精美礼品&参赛证明：正式报名参赛并提交最终结果的队伍每位成员将获得千言数据集精美的定制周边一份，并发放参赛证明。

比赛组织

指导单位：中国中文信息学会

主办单位：中国中文信息学会自然语言生成专委会（筹）

承办单位：清华大学、哈尔滨工业大学(深圳)、百度

评测委员会：黄民烈(清华大学), 户保田(哈尔滨工业大学(深圳))、肖欣延(百度)

交流群

添加竞赛小助手，备注“NLG”即可加入赛事交流群。

点击“阅读原文“，即可了解竞赛详情并报名！

参考文献

[1] Zhihong Shao, Minlie Huang, Jiangtao Wen, Wenfei Xu, Xiaoyan Zhu. 2019. Long and Diverse Text Generation with Planning-based Hierarchical Variational Model. In Proceedings of EMNLP 2019.

[2] Baotian Hu, Qingcai Chen, Fangze Zhu. 2015. LCSTS: A Large Scale Chinese Short Text Summarization Dataset. In Proceedings of EMNLP 2015.

[3] Wei He, Kai Liu, Jing Liu, Yajuan Lyu, Shiqi Zhao, Xinyan Xiao, Yuan Liu, Yizhong Wang, Hua Wu, Qiaoqiao She, Xuan Liu, Tian Wu, Haifeng Wang. 2019. DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications. In Proceedings of ACL 2018 MRQA Workshop.

如有飞桨相关技术问题，欢迎在飞桨论坛中提问交流：

http://discuss.paddlepaddle.org.cn/

欢迎加入官方QQ群获取最新活动资讯：793866180。

如果您想详细了解更多飞桨的相关内容，请参阅以下文档。

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

·飞桨开源框架项目地址·

GitHub: https://github.com/PaddlePaddle/Paddle

Gitee: https://gitee.com/paddlepaddle/Paddle

????长按上方二维码立即star！????

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体，是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。飞桨企业版针对企业级需求增强了相应特性，包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业，提供零门槛、预置丰富网络和模型、便捷高效的开发平台；BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

END