170 亿参数!微软对内发布最强模型 Turing-NLG

大型语言模型比较: Gen2/Gen3模型(Bloom、 Gopher、 OPT 和 其它) 第二代和第三代大型语言模型(LLM)沿着参数复杂性、训练材料和指令式微调不断发展。从本文涉及的模型中可以观察到以下趋势。首先,如Megatron模型所示并引领的,有效的管道和数据并行对于有效且可扩展的训练至关重要。几个开源框架解决了这些训练需求,并可被所有后续研究所使用。其次,如BLOOM和TK-Instruct所展示的,使用指令式提示进行训练或微调,可以显著提高模型在多个NLP和任务基准测试中的性能。似乎存在一个阈值,即每个任务所需的实例数量,以实现这种泛化。 阅读详情

_

By 超神经

内容导读:近日,微软公布了史上最大的语言生成模型,Turing-NLG。通过 DeepSpeed 深度学习库,以及 ZeRO 优化的技术带来的突破,这个庞大的模型得以被训练而出。而在多项基准测试方面,Turing-NLG 也达到了最优异的水平。

关键词:自然语言生成   参数量   微软

2 月 10 日,微软发布了新的语言生成模型 Turing-NLG ,将该领域拉到了一个全新的高度。

Turing-NLG 的消息在微软官方博客发布

Turing-NLG 拥有 170 亿参数量,是英伟达 Megatron 模型参数的两倍。而此前足够以假乱真的 GPT-2 ,也仅仅只有 15 亿参数。

拥有史无前例的参数量的同时,也让 Turing-NLG 的具备了无与伦比的性能,它在诸多语言模型基准上,都超越了当前性能最佳的其他模型。

参数越大,性能越强

Turing-NLG 是基于 Transformer 的生成语言模型,它可以通过生产单词,来完成开放式的文本任务:补充句子,编写故事,生成答案以及进行文本摘要等。

让 AI 像人一样直接、准确、流畅地对文本问题作出回应,是自然语言处理领域试图达到的目标。这其中生成模型显得十分重要。

但在此前的问题解答和摘要系统中,大多都依赖于从文档中提取现有内容,此类方式存在很大的弊端,最后给出的反馈,往往是不够自然或者不连贯。

而 Turing-NLG,则能够自然流畅地总结或回答此类问题,尤其是在有关个人文件或电子邮件整理方面,而且在问答和文本总结等实际任务中也表现出色。

Turing-NLG 将同类模型远远地甩在了身后

实际的测试中, Turing-NLG 在多项语言模型的基准上,均实现了 SOTA (最先进性能)。

微软介绍到,模型背后依据在于:即使训练样本较少,但模型越大,预训练的数据越多样化和全面,它就越能更好地推广到多个下游任务。

因此,训练大型的集中式多任务模型,并在众多任务中共享其功能,要比单独为每个任务训练新模型更为有效。

新方法铸就「庞然大物」

庞大的模型并不容易得到。其中一个难点是,训练超过 13 亿参数的模型,就不能仅靠一个 GPU。必须在多个 GPU 之间并行训练,或者将模型进行分解。

微软在博客中介绍到,本次能够训练出 Turing-NLG,得益于软硬件上三个方面的突破:

  1. 使用 NVIDIA DGX-2 硬件设置,通过 InfiniBand 连接,以便在 GPU 之间实现快速的通信。

  2. 使用了四个英伟达 V100 GPU,并在在英伟达 Megatron-LM 框架中应用张量切片来分割模型。

  3. 使用 Deepspeed 和 ZeRO ,以降低了模型的并行度 ,将每个节点的批处理大小增加 4 倍,减少了三倍的训练时间。

DeepSpeed 和 ZeRO 的使用带来了性能提升

其中,DeepSpeed 是微软推出的深度学习库,可以在更少 GPU 的前提下,提高大型模型的训练效率;

ZeRO 是一个新的并行优化组件,能够降低模型和数据并行需要的资源,提升可训练的参数量。

DeepSpeed 在规模,速度,成本和可用性上具有优势

使用 ZeRO 可以大幅提升可训练模型的大小

通过这些方法的使用,在最终的模型中,有 78 个Transformer 层,4256 个隐藏层参数,包含 28 个注意头。

Turing-NLG 吊打其他模型

模型预训练完成后,为了验证其性能,微软将 Turing-NLG 和英伟达 Megatron-LM ,以及 OpenAI 的 GPT-2 完整版做了性能对比。

分别在 WikiText-103(分数越低越好)和 LAMBADA(分数越高越好)数据集上,进行了指标评分。

可以看到,Turing-NLG 和这两个当下最先进的模型相比,性能上均有所超越。

此外,在有关问答和摘要任务的实际测试中,Turing-NLG 也取得了极大的突破。

它实现了直接生成问答,或者说在零样本下生成问答的能力。在该情况下,Turing-NLG 模型依赖预训练期间所获得的知识,生成了最终的答案。

直接提问,模型也能给出答案

下图展示了Turing-NLG 模型和此前的基准系统,在事实正确性(Factual Correctness)和语法正确性(Grammatical Correctness)两项指标上的对比情况:

另外,模型能够在更少的监督条件下生成抽象式摘要。

比如为电子邮件、博客文章、Word 文档,甚至是 Excel  表格和 PPT  演示,编写出抽象式内容摘要。

这其中一个主要的挑战,便是面向这些面向和个人化的场景,缺少有监督的训练数据,而 Turing-NLG  的机制则决定了它可以胜任此类工作。

Turing-NLG 的潜在应用

该模型目前并不对外公开。微软表示其初衷在于,让模型可以帮助用户对文档和邮件进行摘要化处理,同时能够应用在 Office 系列软件中,提供写作帮助和疑难解答。

微软还认为该模型的出现,为下一代聊天机器人和数字助理铺平了道路,有望被用于客服、销售等方向。

此外,Turing-NLG 还是 Project Turing(图灵计划)的一部分,模型也由此得名。

微软图灵项目首页

该计划正尝试将文本和视觉处理技术,应用到产品开发之中,包括与 Bing、Office、Xbox 等方面软硬件相关的服务。

 

模型一发布,Reddit 就沸腾了

模型一经发布,就在 Reddit 论坛上引起了热议,网友们纷纷发帖表述自己的看法。

  称赞    当前最高赞回答,强调了对参数增加的看法,并表达了他的支持。

“ 

幸运的是,模型具有 170 亿个参数,而不是 170 亿个超参数。 

毕竟,目前最智能的结构(人),具有超过 100 万亿个参数。虽然参数增多会造成带来效率的问题,但是我认为拥有更多参数没什么问题(尤其是在资金雄厚的研究环境下)。

”

  看衰    也人并不看好,认为没有解决根本问题。

“ 

从发布的博客来看,即使有足够的 VRAM ,无法在单个 GPU 上运行模型的问题,依然没有得到解决。

我不是针对他们令人印象深刻的优化方法,只是在模型体量上开个玩笑,因为人们在抱怨 15 亿参数的 GPT-2 太庞大之后,微软就造出了大 10 倍的模型。

”

  官方    参与图灵项目的研究成员,也亲自出场,发帖进行热心答疑。

在该条目下,有关 Turing-NLG 的多个关键问题,也得到了详细回答。

包括团队正在内部讨论,是否会发出缩减版的预训练模型;更详细的技术细节将会在后续放出;模型目前仅支持英语,支持多语言的版本正在计划之中等。

目前帖子下的问题和讨论仍在发酵之中。

—— 完 ——

扫描二维码,加入讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情

更多精彩内容(点击图片阅读)

_

_

_

_

MegatronTuring NLG原理与代码实例讲解 Megatron-Turing NLG原理与代码实例讲解 关键词: 大规模语言模型 自注意力机制 多GPU并行训练 模型参数优化 实时对话生成 模型扩展与部署 阅读详情

相关推荐

Deep Learning for NLG

剑桥大学 Dialogue Systems Group的Tsung-Hsien (Shawn) Wen:自然语言生成PPT

NLP简报(Issue#4):Turing-NLG、REALM、ERNIE-GEN、Transformer attention可视化等等

欢迎来到 NLP 时事简报!全文比较长,建议收藏慢慢看。另外加了目录方便直接索引到自己感兴趣的部分。enjoy 文章目录1、Publications ????1.1 Turing-NLG: A 17-billion-parameter language model by Microsoft1.2 Neural based Dependency Parsing1.3 End-to-end Cloud-b...

Kaiyuan_sjtu的博客 3081

【JESD79-5之】8 AC & DC 输入测量标准(AC & DC Input Measurement Levels)

时钟被驱动到DRAM,可以通过L/RDIMM模块的RCD来实现,也可以通过U/SODIMM模块的主机来实现(图184)。接收机DQS(脉冲)输入电压灵敏度测试提供了在没有码间干扰(ISI),抖动(Rj, Dj, DCD)和串扰噪声的情况下测试接收机对不同输入电压的灵敏度的方法。接收机数据输入电压灵敏度测试提供了在没有符号间干扰(ISI),抖动(Rj, Dj, DCD)和串扰噪声的情况下测试接收机对不同输入电压的灵敏度的方法。

m0_61126667的博客 1709

【AI工具集】Microsoft Turing-NLG - 强调文本生成的深度学习模型,支持多种自然语言任务。

Microsoft Turing-NLG 展现了现代自然语言处理技术的强大能力,尤其是在文本生成领域。尽管如此,随着技术的发展,可能会有更多新的进展出现。对于那些希望在其应用程序中集成先进文本生成功能的企业和个人开发者来说,了解并利用像 T-NLG 这样的最新成果无疑是一个重要的方向。然而,值得注意的是,由于这类模型的复杂性和计算需求,它们往往需要较高的硬件要求以及专业的技术支持来进行部署和运行。

2403_86762465的博客 717

【Cadence】PSS+PSTB/PAC仿真在开关电源稳定性分析中的关键应用

本文深入探讨了Cadence仿真工具中PSS+PSTB/PAC方法在开关电源稳定性分析中的关键应用。针对开关电源作为时变非线性系统的特性,传统STB仿真方法会失效。文章详细阐述了如何通过PSS分析找到周期稳态,并在此基础上利用PSTB或PAC进行精确的环路增益和小信号频响分析,为电源设计提供可靠的稳定性评估与补偿网络设计依据。

weixin_29276847的博客 528

STM32F103RC学习(一)

STM32F103RC学习(一)

Cat_South_North的博客 6058

为了高性能、超大规模的模型训练,这个组合“出道”了

从最初的 transformer 模型的几百万个参数一直到最新的 5300 亿个参数的 Megatron-Turing (MT-NLG 530B) 模型(如图所示),客户对于前所未有的大规模训练和微调大型模型的需求越来越强烈。如下图所示,微软正在采用全栈优化方法,其中硬件、操作系统、VM image、Docker image(含优化后的PyTorch、DeepSpeed、ONNX 运行时和其他Python包)、面向用户的Azure ML APIs都已经过优化、集成和测试,具有出色的性能和可扩展性。.....

微软技术栈 727

PS/2鼠标接口协议

一、PS/2鼠标接口        PS/2接口用于许多现代的鼠标和键盘,由IBM最初开发和使用。物理上的PS/2接口有两种类型的连接器:5脚的DIN和6脚的MINI-DIN。        二、鼠标的接口协议原理             PS/2鼠标接口采用一种双向同步串行协议。即每在时钟线上发一个脉冲,就在数据线上发送一位数据。但是在相互传输中 ,主机是拥有总线控制权的

Ant's home 1万+

计算机科学学习

主要讲一下计算机基础中的进制

AA445AA的博客 365

远程桌面项目

远程桌面项目

weixin_41560737的博客 1935

【单智能体】AI 数据分析智能体案例讲解(附完整源码)

本案例将引导您构建一个基于 AI 的数据分析智能体,让用户能够通过自然语言查询来分析 CSV 和 Excel 文件中的数据,无需掌握 SQL 知识。该智能体使用 Agno Agent 框架集成 OpenAI GPT-4o 模型,并利用 DuckDB 提供高效的数据处理能力。

rengang66的博客 241

逆天!5300亿NLP模型“威震天-图灵”发布!

点击 机器学习算法与Python学习 ,选择加星标精彩内容不迷路量子位 报道 | 公众号 QbitAI5300亿参数!全球最大规模NLP模型诞生。由微软联手英伟达推出,名叫威震天-图灵自然...

机器学习算法与Python学习 586

wireshark提取视频数据之RTP包中提取H264和H265

本文主要描述从wireshark包数据中提取出H264和H265裸流数据方法,裸流通过RTP封包方式发送,从抓包中直接提取视频流数据,进而进行流媒体问题定位

技术控的笔记 17万+

5300亿NLP模型“威震天-图灵”发布,由4480块A100训练,微软英伟达联合出品

丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI5300亿参数!全球最大规模NLP模型诞生。由微软联手英伟达推出,名叫威震天-图灵自然语言生成模型(Megatron Turing-...

量子位 467

《QGIS快速入门与应用基础》230:添加图例工具

本文系统讲解QGIS图例制作的核心方法与优化技巧。首先强调图例与地图框的绑定逻辑,提出三种绑定状态及适用场景。详细拆解三种图例添加方法:布局工具栏一键添加法(新手首选)、菜单栏添加法和右键快捷创建法,并给出单地图框和多地图框两种典型场景的规范技巧。重点解决新手常见的图例杂乱、样式不规范、内容脱节等问题,帮助用户从基础图例制作进阶到符合行业标准的专业图例设计。通过分步操作图示和实用技巧,使读者能够快速掌握图例创建的核心流程与优化方法。

LuckyHanMo的博客 556

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

GPT-3诞生,Finetune也不再必要了,NLP领域又一核弹

一只小狐狸带你解锁炼丹术&NLP秘籍2018年10月推出的BERT一直有着划NLP时代的意义,然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT(Generative...

夕小瑶科技说 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

GPT-3 Finetune

一只小狐狸带你解锁炼丹术&NLP秘籍 2018年10月推出的BERT一直有着划NLP时代的意义,然而还有一个让人不能忽略的全程陪跑模型——OpenAI GPT(Generative Pre-Training)在以它的方式坚持着,向更通用的终极目标进发。 最初的GPT只是一个12层单向的Transformer,通过预训练+精调的方式进行训练,BERT一出来就被比下去了。之后2019年初的GPT-2提出了meta-learning,把所有NLP任务的输入输出进行了整合,全部用文字来表示,比如对于翻译任务

kyle1314608的博客 2918

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

MT-NLG:使用DeepSpeed和Megatron训练Megatron-Turing NLG 530B,一个大规模生成语言模型

Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model MT-NLG:使用DeepSpeed和Megatron训练Megatron-Turing NLG 530B,一个大规模生成语言模型

Together_CZ的博客 1670

目前全球大型语言模型的简要介绍

这些大型语言模型都采用了类似的预训练-微调方法,即首先在大量无标签数据上进行预训练,然后在特定任务上进行微调。这些模型在自然语言处理领域的多个任务中都取得了显著的进步,为人工智能的发展和应用带来了更多的可能性。

2202_75323672的博客 1323

计算机科学导论-图灵模型

文章目录图灵机数据处理器可编程数据处理器通用图灵机 图灵机 图灵机:图灵在1937年首次提出了一个通用计算设备的设想。他设想所有的计算都可能在一种特殊的机器上执行,这就是现在所说的图灵机。 数据处理器 把计算机定义成一个数据处理器。 那么计算机就可以被看作是一个接受输入数据、处理数据并产生输出数据的黑盒。 可编程数据处理器 图灵模型是一个适用于通用计算机的更好模型。该模型添加了一个额外的元素–程序到不同的计算机器中。 程序是用来告诉计算机对数据进行处理的指令集合。 输出数据:根据输入数据+程序,得到输出

小旺的博客 4175

微软发布史上最大语言模型Turing-NLG:170亿参数量

本文转自"雷锋网"英伟达的“威震天”现在只能屈居第二了。 文 | 周蕾微软AI&Research今天分享了有史以来最大的基于Transformer架构的语言生成模型T...

机器学习算法与Python学习 2191

图灵机模型

作者:晓雷 链接:https://www.zhihu.com/question/21452411/answer/48216701 来源:知乎 著作权归作者所有,转载请联系作者获得授权。 语言与机器是我很早就想写的一个系列文章。大三时初次接触函数式编程就被这条不同寻常的“邪门歪道”所震惊。原来我们熟悉的过程是编程语言之外还存在这么多的“奇葩”。原来编程的思维不只有机器这一条路。仔细往下探

hemeinvyiqiluoben的专栏 1万+

图灵机模型与计算机

图灵机模型与计算机(一) 一、图灵机的构成 1、一条无限长的纸带(tape)。纸带被划分为一个接一个的小格子,每个格子上包含一个来自有限字幕的符号,字母表中有一个特殊的符号,就是一个空格,它表示空白。纸带上的格子从左到右依次被编号为0,1,2...,右端无限延伸。2、一个读写头(head)可以在纸带上左右移动,它能读出当前所指的格子上的符号,并能改变当前格子上的符号。3、一套控制规则(tabl...

weixin_30335353的博客 948

最大的ai计算机模型,Microsoft构建了世界排名前五的超级计算机,用于在Azure上训练大型AI模型...

【TechWeb】据国外媒体报道,5月20日,微软在年度开发者大会Build 2020上宣布,它将建造世界排名前五的超级计算机.Microsoft微软表示,它与非营利性人工智能组织OpenAI独家合作,构建了世界排名前五位的超级计算机,该超级计算机专门用于在Azure公共云上训练超人工智能(AI)模型.这是一台单系统超级计算机,具有285,000个CPU内核,10,000个GPU,每个GPU的网络...

weixin_33488806的博客 356

微软发布史上最大NLG模型:基于Transformer架构,170亿参数加持

2020-02-11 18:50 导语:史上最大! 近年来,BERT、GPT-2等深度学习语言模型,极大地提高了问答、摘要、人机对话等下游自然语言处理任务的性能。 而今天,微软研究院重磅发布了有史以来最大的基于Transformer架构的语言生成模型 Turing-NLG。此模型的参数高达170亿,是英伟达的Megatron(也就是现在第二大Transformer模型)的两倍,是Op...

喜欢打酱油的老鸟 1566
上一篇: 谷歌官方回应了,99 部手机行为艺术「捉弄」谷歌地图后续
下一篇: 第一轮返工潮,哪些城市疫情传播压力最大
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值