本文概述了OpenAI的GPT系列从GPT-1到GPT-4的发展历程，强调了参数数量和计算资源的增长。同时提及Google的GEMINI系列，包括不同版本以及在业务中的应用。其他公司如百川和腾讯也发布了自家的大模型。
OPENAI - GPT
- 2018年 GPT1 117M参数 12层
- 2019年 GPT2 1.5B参数 48层
- 2020年 GPT3 1750亿参数(175B) 96层-2Ktoken
- 2022年 GPT3.5
- 2023年 GPT4 8个220B的多模态 训练量13万亿token，耗费了2.15e25的FLOPS，同等2.5万张A100训练3个月，同等1万张H100训练2个月，推理只需要128个A100
GOOGLE - GEMINI
- 2023-12-06发布 支持多模态
- GEMINI3个版本，UTRAL对标GPT4，PRO对标GPT3，NANO提供到移动终端
- GOOGLE的业务上有Bard对话服务、ALphaCode编码服务等，底层可以用GEMINI
other
- 2023.8 百川 发布Baichuan 53B
- 2023.9 腾讯 发布混元大模型
- 2023.9 作业帮 银河大模型
…
根据新闻逐渐增加，很多信息待补充，作为记录和回忆
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
