- 博客(6)
- 收藏
- 关注
RSS订阅原创 随笔（厕所悟道）
小时候很喜欢看《钢铁是怎样炼成的》。当你回首往事的时候，你的一生应该怎样度过。忽然发现已经26岁了。时间过得很快，上班期间最爱的是在厕所蹲着，可以不用面对工作。但是这是临时性的逃避，很多次都是这样逃避。不敢面对，但是最后还是没有逃避掉。时间不等人，焦虑不会带来任何东西。即使ai当下发展的很快，但是高价值的岗位一直都在。
2026-10-15 20:13:12
10
原创 通信算子的数学原理与 PyTorch 微分实现
从基础的 Gather/Scatter 对应关系，到All-to-All的拓扑翻转，再到利用模型架构特性的 Identity 优化，甚至是通过公式拆解抹除高维张量传输的魔法。手写分布式 Autograd 算子的过程，本质上是对深度学习计算图和计算机系统物理边界的深度理解与融合。
2026-08-03 10:40:07
311
原创 大模型经典论文汇总
其核心贡献在于提出了一种结合了“压缩稀疏注意力（CSA）”和“重度压缩注意力（HCA）”的混合注意力架构，配合流形约束超连接（mHC）与Muon优化器，使得在百万上下文场景下，单Token推理的FLOPs和KV Cache占用大幅降低至上一代模型（V3）的10%~27%。该架构通过将输入的长序列切分到不同的GPU上，并在计算注意力机制（Attention）前后利用高度优化的All-to-All通信对“序列维度”和“注意力头维度”进行切换，在保持极高通信效率的同时，完美支持了超长上下文的大语言模型训练。
2026-08-03 10:01:25
189
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人