- 博客(2)
- 收藏
- 关注
RSS订阅原创 GPU 架构、内存层级与 FlashAttention： 从计算、访存与通信理解大模型系统瓶颈
本文探讨了GPU架构与内存层级在大模型系统中的核心作用，分析了真实性能取决于计算单元匹配、数据供给效率和跨卡通信能力。文章梳理了NVIDIA GPU从V100到Blackwell的演进趋势，指出计算密度提升、数据移动显式化和互连能力系统化三大方向。通过内存层级分析，揭示了减少跨层数据搬运的重要性，并详细解释了memory-bound的本质及优化方法。最后以Attention为例，说明FlashAttention通过分块算法减少HBM访问的创新价值。全文强调大模型性能需从计算、访存和通信三个维度协同优化。
2026-08-19 22:27:18
382
原创 深度学习的学习范式（Learning Paradigm）总结
了解不同的学习范式（paradigms）决定了模型如何学习数据、如何优化、如何推广到新任务。
2025-04-03 19:49:37
1617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人