曾创造 XLNet 的团队宣布新计划：打造面向产业落地的超大规模中文预训练语言模型

由 XLNet 作者杨植麟联合创立的循环智能，在造一个面向产业应用的、超大规模的中文预训练语言模型。

最近，如果你看过，智源研究院联合七家单位发布超大规模新型预训练模型“悟道·文汇”的新闻，会发现循环智能（Recurrent AI）是七家单位之一，其他六家是：阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗和智谱.AI。这个模型的参数规模超过 100 亿，用于自动生成图片、文字以及视频，可具有初级认知能力。

语言大模型的价值仍需要朝多种方向进行持续研究和探索。除了继续参与“悟道·文汇”模型的后续打造，循环智能将启动 NLP Moonshot 计划，面向产业落地的方向，训练超大规模的中文预训练语言模型。以期在银行、保险、教育等众多行业的实际落地中，最大化 NLP 产业应用的价值。

为什么是我们？

计算资源

众所周知，训练超大规模模型也需要价值不菲的计算资源。在计算资源方面，循环智能已经与一家大型云服务企业达成合作，数千枚 AI 芯片计算资源已就位。双方合作的详情，后续将随该项目的首期研发成果一起公布。

团队实力

循环智能团队曾创造 state of the art 模型 XLNet 和 Transformer-XL（联合创始人杨植麟博士是两个模型的第一作者），具有在数千块 TPU 上训练超大规模模型的大量实践，对预训练有丰富经验。