方案篇| 百亿级参数大油气开发管理领域模型技术方案

1.百亿级参数规模的问答模型选型。

（一）采用什么样的算法模型

我们采用基于 Transformer 架构的大规模语言模型。Transformer 是由 多层的多头自注意力模块堆叠而成的神经网络模型, 原始架构由编码器和解码器组成,而这两个部分实际上可以 独立使用，能够有效地处理长序列数据，并且在大规模数据上表现出色。