由 XLNet 作者杨植麟联合创立的循环智能,在造一个面向产业应用的、超大规模的中文预训练语言模型。
最近,如果你看过,智源研究院联合七家单位发布超大规模新型预训练模型“悟道·文汇”的新闻,会发现循环智能(Recurrent AI)是七家单位之一,其他六家是:阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗和智谱.AI。这个模型的参数规模超过 100 亿,用于自动生成图片、文字以及视频,可具有初级认知能力。
语言大模型的价值仍需要朝多种方向进行持续研究和探索。除了继续参与“悟道·文汇”模型的后续打造,循环智能将启动 NLP Moonshot 计划,面向产业落地的方向,训练超大规模的中文预训练语言模型。以期在银行、保险、教育等众多行业的实际落地中,最大化 NLP 产业应用的价值。
为什么是我们?
计算资源
众所周知,训练超大规模模型也需要价值不菲的计算资源。在计算资源方面,循环智能已经与一家大型云服务企业达成合作,数千枚 AI 芯片计算资源已就位。双方合作的详情,后续将随该项目的首期研发成果一起公布。
团队实力
循环智能团队曾创造 state of the art 模型 XLNet 和 Transformer-XL(联合创始人杨植麟博士是两个模型的第一作者),具有在数千块 TPU 上训练超大规模模型的大量实践,对预训练有丰富经验。