预训练大模型与金融量化

预训练大模型与金融量化

黄文灏 作者：黄文灏（前北京智源AI研究院 技术负责人）

整理：AINLP公众号

链接：https://zhuanlan.zhihu.com/p/646909899

最近，和朋友讨论到一个有趣的观点：大模型预训练（主要指成本最大的from scratch预训练）和金融量化有很多相似之处。联想到之前幻方提到的做金融量化的人天然具备做预训练大模型的基础。恰好自己同时具有预训练大模型和金融量化的背景，仔细思考一下，发现的确可以做个对比。

大型的系统工程

大多数量化算法的核心数据是公开的量价数据，大模型预训练的数据中最重要的也是公开数据，当然各家都会有一些自己独有的数据来源，但占比都不太大。量化的整体算法逻辑各家其实也都差不多，类比预训练模型结构方面，大家也基本类似，不会有翻天覆地的差别。所以，决定模型能力好坏的其实是大型系统工程能力。

首先，作为大型系统工程，量化和大模型都需要大型的计算集群。上万张卡的互联是对Infra的极致挑战，国内在ChatGPT之前实现上万张卡互联的可能只有幻方的萤火平台，幻方的Infra人才基本上也是国内最顶尖的，里面各种NOI金牌