NeurIPS 2019:进入NLP的黄金时代

CVPR2019 accepted papers查看 以及其他几个顶级会议的accepted papers查看 cvpr2019论文接收list查看: CVPR2019接收论文(accepted paper) 阅读详情

作者:Mo Islam, Partner, Threshold Ventures

编译:ronghuaiyang

导读

2019年是NLP爆发式发展的一年,有点像之前的计算机视觉领域,不仅仅体现在学术界,工业界也是如此。

我刚从温哥华神经信息处理系统年会回来。自从我 2015 年最后一次参加以来,很多事情都改变了。NeurIPS(原名 NIPS)已经从 3700 人发展到超过 13000 人,成为世界上最大的机器学习研究会议。我还注意到,寻找顶级机器学习人才的公司和初创公司的数量呈爆炸式增长。

我听了几个非常好的演讲:1)Celeste Kidd 关于人类信仰的形成以及机器学习算法如何影响我们所知道的东西的演讲。2)Yoshua Bengio 对话 Daniel Kahneman,讨论机器意识,代理以及代理生成,包括系统到深度学习。NeurIPS 的大多数演讲都是技术性很强的,但这两个演讲对于普通观众来说是可以理解的。它们让我们对未来 10 年的机器学习将是什么样子,以及它将如何影响我们的生活有了重要的了解。

我今年参加了 NeurIPS,主要想了解以下机器学习的最新进展。毫无疑问,当前最令人兴奋的行业浪潮是自然语言处理(NLP)的进步。我已经跟踪这个行业很多年了,但是在过去的一年里,我们看到了技术上的巨大进步,我相信我们正在进入 NLP 的黄金时代。与过去几年在计算机视觉方面的主要进步类似,NLP 在性能方面已经达到了一个阈值,可以解锁许多新产品和服务。

算法

算法开发主要由大型科技公司提供资金,并通过开源软件进行发布,这正在迅速推动 NLP 技术的发展。一个经常被谈论的技术是[BERT](https://ai.googleblog.com/2018/11/opensourcing-bert -state- art-pre.html "BERT")(使用 transformer 的双向编码器表示),这是由谷歌开发的最先进的 NLP 预训练技术。BERT 在整个行业中非常的重要。NLP 是一个多样化的领域,它需要许多特定于任务的数据集 — 缺乏特定任务的训练数据是一个巨大的冷启动挑战。BERT 接受过 Wikipedia 语料库的训练,他为开发人员和数据科学家启动了 NLP 模型的构建,允许他们使用小型数据集来 finetune 特定的 NLP 任务。它依赖于 transformer,一个新的神经网络结构,可以直接模拟一个句子中所有单词之间的关系,以及双向性,这是一个古老的想法,第一次被用来预训练一个深度神经网络。

科技巨头之间对 NLP 优势的竞争和开源软件带来的自然合作为过去一年取得更大进展铺平了道路。Facebook 人工智能选择了 BERT,并对其中的一般进行了更好的优化,得到了[RoBERTa](https://ai.facebook.com/blog/roberta-an- optimizedmethod -for-pretraining-self- -nlp-systems/ "RoBERTa")。百度的灵感来也自 BERT,并产生了目前表现最好的模型,如下所示,它位于 GLUE(通用语言理解评估)的排行榜第一名上,GLUE 是评估 NLP 模型的基准。以 Sesame Street 中 Bert 的朋友名字命名的“ERNIE”,在中文的语料上的表现超越了其他的。虽然不像 Sesame Street 那么友好,但微软也推出了一个受 BERT 启发的模式[MT-DNN](https://blogs.msdn.microsoft.com/stevengu/2019/06/20/microsoft-achieves-human-performance- estim- onglue-benchmark/ "MT-DNN")。OpenAI 最近发布了另一款基于变压器的模型 GPT-2,在 800 万个网页上训练了 1.5B 参数。感谢 ML 工程师 Adam King,你可以用它来完成你的句子。由大型科技公司资助的算法的持续改进,通过开源软件发布模型是推进 NLP 的关键。

应用

最先进的预训练模型的可用性对于新产品和服务中的大规模 NLP 采用来说是超级令人兴奋的。在企业生产力、客户服务和医疗记录等领域跨产品构建功能的开发人员可以利用这些预训练的模型来快速构建问答系统、情感分析和临床决策支持工具。这些只是几个例子。语言无处不在(代码也是语言!),我相信 NLP 有潜力支配几乎每一个行业。

这项技术也正在迅速投入生产。谷歌已经在美国使用 BERT 提高了 10%的搜索量,随着新模型的建立,它将扩展到更多的语言和地区。

虽然许多 NLP 技术将成为产品的特色或用来改善服务,如谷歌搜索,我们也将看到对话型人工智能的复苏。聊天机器人融资热潮仍在持续中,但我坚信,当时基础的 NLP 技术还不够成熟,不足以充分支持这些应用。许多处于早期阶段的公司要么失败了,要么早早退出了。我对未来五年复杂的人工智能对话系统和基于代理的模型的复兴感到兴奋,因为这是 NLP 的门槛。

除了应用之外,我还希望看到更多的工具和基础设施(构建在开放源代码之上),以使开发人员和数据科学家能够将他们的模型投入生产。与 Transformer GPT-2 web 应用演示的对话是可能的,因为工具为该模型提供了一个简单的 PyTorch 实现。我认为,初创公司将有更多的机会提供模型管理、模型治理和模型 CI/CD,以简化生产用例中对 NLP 的采用。NLP 已经准备好进入黄金时段。我认为这是一个好兆头,它预示着新兴公司的自下而上、开发人员驱动和高速的商业模式。我预计许多公司会为这个基础设施做出贡献,但我不认为它们将主要由亚马逊或谷歌制造。

在风险投资中,我们投资的是处于变革式增长门槛的颠覆性公司。我相信 NLP 正处于这样的一个临界点。NeurIPS 为我们提供了一个绝佳的视角,让我们了解该行业在过去一年里取得了怎样的进展,以及受益于这项技术的新产品还有多大的潜力。我期待着进入 NLP 的黄金时代。

(完)


NeurIPS 2019顶尖论文合集·第九卷:AI前沿技术深度解析 NeurIPS 2019于加拿大温哥华成功举办,吸引了超过13,000名参会者,涵盖学术界与工业界顶尖力量。会议设置主会报告、专题研讨会(Workshops)、教程环节(Tutorials)及论文口头/海报展示,收录论文超1400篇,接收率不足22%。研究主题广泛分布于深度学习理论、强化学习算法、生成模型、可解释性与鲁棒性等领域。 阅读详情

相关推荐

nips2019合集_卷9.zip

NeurIPS 2019年论文合集pdf文件,从arXiv收集下载而来.人工智能顶会文章.受到上传限制,分卷下载.

机器学习领域最新十篇论文,来自谷歌、Facebook、普林斯顿大学、斯坦福大学等团队的最新研究成果...

点击上方“深度学习技术前沿”,选择“星标”公众号资源干货,第一时间送达1Differentiable Ranks and Sorting using Optimal Transport基...

深度学习技术前沿 818

双重机器学习 stata教程 手把手教学

双重机器学习(DDML)的stata教程

weixin_59030591的博客 1万+

NeurIPS提前看 | 四篇论文,一窥元学习的最新研究进展

2019 年,NeurIPS 接受与元学习相关的研究论文约有 20 余篇。元学习(Meta-Learning)是近几年的研究热点,其目的是基于少量无标签数据实现快速有效的学习。本文对本次接收的元学习论文进行了梳理和解读。 机器之心原创,作者:仵冀颖,编辑:H4O。 2019 年 NeurIPS 将于 12 月 8 日至 14 日在加拿大温哥华举行。NeurIPS 今年共收到投稿 6743 篇,...

喜欢打酱油的老鸟 1254

Python+gensim【中文LDA】简洁模型

文章目录完整代码过程详解words_lsdictionarydictionary.doc2bow函数corpuslda 完整代码 from gensim import corpora, models import jieba.posseg as jp # 待分析文本集 text1 = '美国教练坦言,没输给中国女排,是输给了郎平' text2 = '中国女排世界排名第一?真实水平如何,听听巴西和美...

ArYe 2万+

【复现论文】Looking here or there? Gaze Following in 360-Degree Images

论文:Looking here or there?

RichardoMu的博客 1131

怎么引用arxiv上面的文章_算法最热,arXiv论文接收率高一倍,Rebuttal真能改分,NeurIPS 2019最全报告+视频+笔记都在这里了...

机器之心整理机器之心编辑部公平的审稿、有效的 Rebuttal、先发 arXiv 有优势,这是 NeurIPS 2019 的审稿大招;269 个官方演讲视频、70 页研究者参会笔记,这是 NeurIPS 2019 的「在线参会」福利。盛大的 NeurIPS 2019 刚刚落幕。今年,NeurIPS 官方总结了大会达投稿情况,并介绍了评审委员会在保证投稿质量、完善投稿机制上的种种探索。与此...

weixin_39559097的博客 1152

YOLO26 多模态融合技术:RGB+红外/深度/雷达融合

YOLO(You Only Look Once)是一种流行的目标检测算法,其最大特点是快速且端到端地完成图像中所有目标的检测与分类任务。YOLO首次在2016年由Joseph Redmon等人提出,彻底改变了传统目标检测(如R-CNN系列)的思路,被广泛应用于自动驾驶、视频监控、工业质检等场景。

一键难忘的博客 3526

【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载

论文下载百度云链接:链接:https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码:请关注【计算机视觉联盟】微信公众号,回复:NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...

中科院AI算法工程师的博客 3万+

【YOLOv8改进-注意力机制】BRA(bi-level routing attention ):双层路由注意力

【YOLOv8改进-注意力机制】BRA(bi-level routing attention ):双层路由注意力我们提出了一种新颖的动态稀疏注意力机制,通过双层路由实现更加灵活且具有内容感知的计算分配。

专注于图像领域,主要研究内容包括计算机视觉和深度学习,特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。 3173

钢结构焊接连接工艺

钢结构焊接连接工艺

wwdoffice950426的博客 62

深度学习浪潮下的自然语言处理,百度NeurIPS 2019展现领域新突破

2019 年 12 月8 日-14 日,机器学习领域国际顶级会议 NeurIPS 2019于加拿大温哥华拉开帷幕。此次大会共吸引了全球1万余名专家学者共赴盛会。本年度,自然语言处理领域在深度学习浪潮下取得了显著成就,成为大会重要议题之一。 百度举办了自然语言处理专题研讨会,百度技术委员会主席、自然语言处理首席科学家吴华博士以及多名研究员和工程师,向现场参会者全面介绍了百度在这一领域的长期积累...

喜欢打酱油的老鸟 463

Openclaw错误排查及解决方案之:Something went wrong while processing your request. Please try again.

Openclaw错误排查及解决方案之:Something went wrong while processing your request. Please try again.

多媒体编程、网络编程、系统编程、网络安全编程、驱动编程 3796

NeurIPS 2021有哪些值得读的NLP论文?

©PaperWeekly 原创 ·作者 |王馨月学校|四川大学研究方向|自然语言处理Information Flow in BERT论文标题:Influence Pattern...

Paper weekly 699

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【NeurIPS 2019】Yoshua Bengio报告:深度学习系统从1代到2代,未来将朝何处发展?

NeurIPS 2019正在加拿大温哥华召开。作为机器学习领域最重要的顶会,NeurIPS一直有着很强的影响力和排名,被认为是神经计算方面最好的会议之一。 本文为大家带来了深度学习推动者、图灵奖得主Yoshua Bengio在会议上所作的报告。 →点此进入“报告下载” 一、报告摘要 早期,深度学习的进展主要集中在对静态数据集的学习上,主要用于各类感知任务,这些任务大都依靠人类的直觉,可以在...

AMiner2006的博客 1816

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

NeurIPS 2019中的Transformers

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Pavel Gladkov编译:ronghuaiyang导读NeurIPS 2019上和Transformer有关的论文的...

AI公园 390

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

20篇NeurIPS论文精选:语言大模型的六大趋势

本文总结了NeurIPS 2023大会上与自然语言处理相关的20篇精彩论文。通过这些论文,作者主要观察到了LLM的六个主要趋势,这些论文涉及重新思考LLM的基本假设,并为其内在运作提供了新的见解和观点。本文作者Sebastian Ruder是Google Research研究员,发表了多篇机器学习和自然语言处理领域的顶级论文。(以下内容由OneFlow编译发布,转载请联系授权。原文:https:/...

OneFlow深度学习框架 6318

【历年NeurIPS论文下载】一文了解NeurIPS国际顶会(含NeurIPS2022)

自然语言处理NeurIPS国际顶会介绍,历年NeurIPS论文下载,NeurIPS2022下载,NeurIPS2021下载,NeurIPS2020下载,NeurIPS2019下载,NeurIPS2018下载,NeurIPS2017下载,NeurIPS2016下载.

yinizhilianlove的博客 4039

NLP重要会议记录

ACL会议记录 ACL EMNLP NAACL EACL CONLL COLING IJCNLP LREC IWCS CICLing A类会议: NeurIPS、ICML、AAAI、IJCAI CVPR、ICCV ACL B类会议: COLT、ECAI ECCV EMNLP、COLING C类会议: NAACL、CoNLL、NLPCC、ICDAR 未入选会议: ICLR、EACL、IJCNLP、LREC、SemEval 期刊 TACL ...

jiangchao98的博客 2704

NeurIPS 2019 | 香侬科技开源Glyce2.0,中文字形增强BERT表征能力

文章标题:Glyce: Glyph-vectors for Chinese Character Representations文章链接:https://arxiv.or...

Paper weekly 499

NeurIPS | GNN/CV/NLP/RL 数据和算法合集

顶级会议NeurIPS组织了一个关于Datasets and Benchmarks Track,旨在通过大规模数据和评测来促进领域发展。image-20210715225040658本次T...

weixin_45519842的博客 849
上一篇: 作为算法工程师,在咨询公司工作的另类体验
下一篇: 实操 | 从0到1教你用Python来爬取整站天气网
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值