zhaort666的博客

原创 DeepSeek大模型：中国大模型赛道的破局者与技术创新实践

DeepSeek-MoE-16b采用**细粒度专家拆分策略**，将传统MoE的专家数量提升至64个，每个专家仅关注2B参数的子空间。通过**动态计算路由**技术，相比传统Transformer架构降低40%的训练能耗，在4090集群上实现1.2T tokens/天的训练吞吐量。| 维度 | DeepSeek-MoE-16b | LLaMA3-70b | GPT-3.5 || 中文理解 | ★★★★★ | ★★★☆☆ | ★★★★☆ |