SmallTenMr的博客

在GPT-3发布之前，最大的语言模型是微软在2020年推出的图灵Turing NLG, 参数达到170亿，仅是GPT-3的10% ，目前来看，GPT-3是全球最大数据参与的模型训练，它也是基于传统的NLP和机器学习的一种模型，依然使用神经网络架构，其中包含很多深度学习层，初始模型(监督训练) -> RLHF（Reward 模型） -> 深度自我学习，详细原理有兴趣可以爬梯子去官方一探究竟。但是得到的都是局部最优解，并非全局最优，训练时可能都无法收敛，有限数据还会带来泛化不足的问题。