自然语言处理十问！独家福利

最新推荐文章于 2025-01-04 20:59:20 发布

AI科技大本营

最新推荐文章于 2025-01-04 20:59:20 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/dQCFKyQDXYm3F8rB0/article/details/98540593

自2018年BERT模型问世以来，NLP领域预训练模型如雨后春笋般涌现，包括GPT、ELMO、XLNet、RoBERTa等，各大科技巨头纷纷布局，推动NLP技术快速发展。本文回顾了NLP预训练模型的重要节点，介绍了BERT之后的技术革新，以及国内企业在NLP领域的贡献。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近，NLP 圈简直不要太热闹！预训练模型频频刷新榜单，让一众研究者、开发者“痛并快乐着”。自 2018 年 10 月，Google 提出 BERT 以来，NLP 领域预训练模型的发展仿佛坐上了火箭，完全控制不住。 BERT 出世前，大家都在关注着基于 Word Embedding 的 Word2Vec 方法。2017 年 6 月，Google 提出 Transformer 网络，而 2018 年 2 月提出的 ELMO 并没有使用 Transformer；4 个月后，OpenAI 提出的基于 Transformer 的 GPT 预训练模型受到了业界的关注。直到 2018 年 10 月，BERT 的横空出世震动了整个 NLP 领域，一下刷新了 11 项 NLP 任务，成为 NLP 技术发展史上一个里程碑事件。随后，NLP 预训练模型技术的“屠榜”之路便一发不可收拾。 BERT 之后，2019 年 2 月，OpenAI 便发布了 GPT2.0，再次刷爆 NLP 圈。ICML 2019 上微软又提出了一个全新的通用预训练方法MASS，在序列到序列的自然语言生成任务中全面超越BERT和GPT；2019 年 6 月，Google 联合 CMU 发布了碾压 BERT 的 XLNet 模型；2019 年 7 月，榜单再度被刷新，这次荣登榜首的是 Facebook AI 提出的 RoBERTa。国内学术界和产业界对 NLP 预训练模型技术的跟进也非常迅速。2019 年 3 月百度首次发布适用于中文任务的预训练模型 ERNIE，7 月 31 日，百度发布升级版的 ERNIE 2.0，其在英文任务中也取得了全新突破，并在 16 项中英文任务上超越 BERT 和 XLNet，取得了 SOTA 结果（当前最佳结果）。 640?wx_fmt=png

BERT 之后，预训练模型技术在飞速发展，不断有新工作提出，简直让不少学习者感叹“这速度简直跟不上啊”！不断更新的新技术将对 NLP 领域产生怎样的影响？这些技术在实际场景中被应用的如何了？取得了哪些应用进展？未来的路又在何方？也许，BERT 的出现，让大家看到了 NLP 发展的新希望，让更多的开发者入局；也许，还有很多开发者处于观望状态，这一切是否仍然是泡沫？相信大部分人都会有各种各样的疑问，不过有疑问不是坏事，我们正是在不断摸索中前进的。 是否，你的心中有很多疑问，却无处可问，无人可答？ 这次，AI科技大本营联合 AI ProCon 2019（AI 开发者大会）为大家准备了独家福利！ 什么福利？ 说出你的问题，我们将邀请 AI开发者大会（AI ProCon）NLP 论坛的诸位重磅嘉宾为你答疑解惑。

嘉宾阵容

张俊林：
新浪微博机器学习团队 AI Lab 负责人（专题出品人）

中国中文信息学会理事，中科院软件所博士。目前担任新浪微博机器学习团队AI Lab负责人。在此之前，张俊林曾经在阿里巴巴任资深技术专家并负责新技术团队，以及在百度和用友担任技术经理及技术总监等职务。他是技术书籍《这就是搜索引擎：核心技术详解》（该书荣获全国第十二届优秀图书奖）、《大数据日知录：架构与算法》的作者。

刘群：
华为诺亚方舟实验室语音语义首席科学家

自然语言处理和机器翻译领域的国际著名专家，研究方向包括多语言信息处理、机器翻译模型、方法与评价等。曾任中国科学院计算技术研究所的研究员和自然语言处理研究组负责人；爱尔兰都柏林城市大学教授、爱尔兰ADAPT研究中心（前身CNGL研究中心）自然语言处理主题负责人。带领团队获得 ACL 2019 最佳长论文奖；最初领导研制的ICTCLAS开源系统是应用最广泛的中文词语切分和词性标注工具。在自然语言处理顶级会议和期刊上发表论文60余篇，迄今为止被引用6900余次（GoogleScholar），相关成果获得了北京市科学技术二等奖和国家科技进步二等奖，并授权给很多企业推广应用。刘群教授已培养硕士博士研究生40余人，很多学生已成为一些大学自然语言处理和机器翻译领域的活跃研究人员和一些大型互联网企业的机器翻译团队的负责人。

初敏：
思必驰副总裁、北京研发院院长

中科院声学所博士，主要研究方向覆盖语音识别与合成、自然语言处理、机器学习和数据挖掘、大数据处理和计算等，在相关领域发表了近百篇学术论文并取得 20 多项国内外专利。2000 年，加入微软，在微软亚洲研究院从事科学研究近 10 年，创建并领导语音合成研究小组，研制出了第一个中英文双语语音合成系统“木兰”；2009 年入职阿里巴巴，担任阿里 iDST 智能语音交互方向负责人，使 Yun OS、支付宝、手机淘宝、钉钉等产品具备语音交互能力；2017 年加入思必驰，担任思必驰 VP、思必驰北京研发院院长，拓展语音技术在物联网外的新业务、新场景的落地。

周力：
微软小冰全球首席架构师及研发总监

美国南加州大学计算机系博士、北京大学计算机系学士。2014 年周力加入微软小冰团队，任微软小冰全球首席架构师及研发总监，成功开发出独具情商的人工智能系统微软小冰。

邵浩：
上海瓦歌智能有限公司总经理，狗尾草科技人工智能研究院院长

日本国立九州大学工学博士。现任上海瓦歌智能科技有限公司总经理，深圳狗尾草智能科技有限公司合伙人，人工智能研究院院长，带领团队打造了聊天机器人产品“公子小白”及AI虚拟生命产品“琥珀•虚颜”的交互引擎。上海市静安区首届优秀人才，兼任中国中文信息学会青年工作委员会委员，中国计算机学会YOCSEF上海学术委员会委员。研究方向为人工智能，共发表论文40余篇，出版了业内第一本聊天机器人著作，主持多项国家级及省部级项目，曾在联合国、WTO、亚利桑那州立大学、香港城市大学等任访问学者。

崔一鸣：
科大讯飞 AI 研究院资深研究员

长期从事阅读理解、问答系统、机器翻译等自然语言处理相关领域的研究工作。曾获国际口语机器翻译评测（IWSLT 2012、IWSLT 2014），NIST机器翻译评测（NIST OpenMT 15）多项冠军。2017年至今带领团队多次获得国际权威机器阅读理解评测冠军，其中包括SQuAD 1.1、SQuAD 2.0挑战赛冠军，国际语义评测SemEval 2018阅读理解任务冠军，对话型阅读理解挑战赛CoQA、QuAC冠军等。同时，在自然语言处理顶级及重要国际会议（ACL/AAAI/IJCAI/COLING/NAACL）上发表多篇学术论文，并担任ACL系列会议及AAAI等国际会议程序委员会委员，担任JCSL、TKDD等国际ESI期刊审稿人等学术职务。 更多嘉宾正在确定中……
（最终出席嘉宾以现场为准）

如何参与

如何提问？ 扫描下方小助手二维码，加入大会福利交流群”，在群里 @小助手，提出你的问题即可，提问格式：问题：xxxxx 提问者：（群内昵称）

社群福利

扫码添加小助手，回复：大会，加入2019 AI开发者大会福利群，即可参与提问活动！程序猿（媛）们还可以在群内参与七夕拼团活动~~

640?wx_fmt=jpeg

在问题汇总之后，我们将从中挑选 10 个问题让专家进行解答。拼手速的时候到了！速速进群，留下你的疑问~（被 Pick 的小伙伴，还将有机会获得AI科技大本营为大家准备的精美礼品一份：优快云二十周年纪念版T恤一件或技术图书一本）
问题收集时间： 2019 年 8 月 5 日--8 月 12 日
问题解答时间： 2019 年 8 月 12 日--8 月 18 日 答案公布时间： 2019 年 8 月19 日--2019 年 8 月 25 日答案公布，敬请关注AI科技大本营！更多精彩内容欢迎大家来到 2019 AI开发者大会（AI ProCon）现场，和各位专家面对面交流~

◆

精彩推荐

◆

60+技术大咖与你相约 2019 AI ProCon！七夕套票，限时三天！速抢进行中......2019 AI开发者大会将于9月6日-7日在北京举行，这一届AI开发者大会有哪些亮点？一线公司的大牛们都在关注什么？AI行业的风向是什么？2019 AI开发者大会，倾听大牛分享，聚焦技术实践，和万千开发者共成长。

推荐阅读