曾创造 XLNet 的团队宣布新计划:打造面向产业落地的超大规模中文预训练语言模型

由 XLNet 作者杨植麟联合创立的循环智能,在造一个面向产业应用的、超大规模的中文预训练语言模型。

最近,如果你看过,智源研究院联合七家单位发布超大规模新型预训练模型“悟道·文汇”的新闻,会发现循环智能(Recurrent AI)是七家单位之一,其他六家是:阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗和智谱.AI。这个模型的参数规模超过 100 亿,用于自动生成图片、文字以及视频,可具有初级认知能力。

语言大模型的价值仍需要朝多种方向进行持续研究和探索。除了继续参与“悟道·文汇”模型的后续打造,循环智能将启动 NLP Moonshot 计划,面向产业落地的方向,训练超大规模的中文预训练语言模型。以期在银行、保险、教育等众多行业的实际落地中,最大化 NLP 产业应用的价值。

为什么是我们?

计算资源

众所周知,训练超大规模模型也需要价值不菲的计算资源。在计算资源方面,循环智能已经与一家大型云服务企业达成合作,数千枚 AI 芯片计算资源已就位。双方合作的详情,后续将随该项目的首期研发成果一起公布。

团队实力

循环智能团队曾创造 state of the art 模型 XLNet 和 Transformer-XL(联合创始人杨植麟博士是两个模型的第一作者),具有在数千块 TPU 上训练超大规模模型的大量实践,对预训练有丰富经验。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值