个人笔记

基于Transformer by Hand创作一篇文章，介绍Transformer的两个核心组件（Attention+FFN）的矩阵计算，以及相关的数学理论。

本文以“方向骰子”为起点，从概率论视角引入群卷积，串联李群、李代数、不可约表示、Clebsch–Gordan系数等数学工具，梳理群卷积在几何深度学习（GDL）中的原理与应用。

卡尔曼滤波是20世纪最伟大的算法之一，它本质上是一个递归贝叶斯估计器，用“预测-更新”两步循环，动态加权融合模型与测量，在线性高斯系统中给出最优状态估计，是现代导航与控制的核心算法。

本文通过分析公开的信息和资料，尤其是DeepSeek-V3和DeepSeek-R1的技术报告，探讨DeepSeek系列模型，包括DeepSeek-V3、DeepSeek-R1-Zero 和DeepSeek-R1的训练方法。详细介绍DeepSeek在大语言模型（large language model， LLM）架构上的创新和发展，对GPU集群负载均衡的改进，利用GPU底层语言PTX进行底层优化，以及实现软硬件系统（包括通信、内存和计算）的协同优化等。