ChatGPT 主流模型GPT-4/GPT-4o mini的参数规模是多大？

微软论文又把 OpenAI 的机密泄露了？？在论文中明晃晃写着：

• o1-preview 约 300B；o1-mini 约 100B
• GPT-4o 约 200B；GPT-4o-mini 约 8B
• Claude 3.5 Sonnet 2024-10-22 版本约 175B
• 微软自己的 Phi-3-7B，这个不用约了就是 7B

英伟达 2024 年初发布 B200 时，就摊牌了 GPT-4 是 1.8T MoE 也就是 1800B，这里微软的数字更精确，为 1.76T。

除此之外，论文中给 OpenAI 的 mini 系列，Claude3.5 Sonnet 也都附上了参数，总结如下：

• o1-preview 约 300B；o1-mini 约 100B

• GPT-4o 约 200B；GPT-4o-mini 约 8B

• Claude 3.5 Sonnet 2024-10-22 版本约 175B

• 微软自己的 Phi-3-7B，这个不用约了就是 7B

虽然论文中后面也有免责声明：

确切数据尚未公开，这里大部分数字是估计的。