- 博客(16)
- 收藏
- 关注
RSS订阅原创 基模技术报告整理
（2026年4月，深度求索）（2026年6月，智谱AI）（2026年7月，月之暗面）（2025年5月，阿里）（2026年初，阿里）
2026-08-13 18:03:19
169
原创 大模型注意力机制演变
大模型注意力机制正经历快速迭代。2022年Flash Attention通过工程优化解决内存瓶颈；2023年聚焦KV Cache优化，出现GQA等技术；2024年分化为KV压缩（如MLA）和架构革新（如Mamba）两条路线。未来趋势包括：动态混合注意力模式、注意力与记忆系统融合、硬件协同设计，以及跨模态统一注意力机制。注意力机制正从固定计算范式演变为自适应信息处理框架，核心目标始终是高效捕捉关键信息。这一演进将持续推动大模型在长文本处理和多模态任务上的能力突破。
2026-07-05 15:31:10
239
原创 GSPO DAPO
这是因为GRPO训练过程中需要有一项重要性采样，这个重要性采样是token-level的，但是GRPO中每一个token的优势都是一致的，实际上是sequence-level的优势，因此优势跟重要性采样的level是不一致的，这会导致误差随着序列长度的增加而累积，导致训练容易崩溃。GSPO通过改变重要性采样的level，改成sequence-level，从而解决两者维度不一致的问题。并且使用sequence-level后还有一个非常不错的好处，在训练MoE模型的时候不需要进行路由重放。
2026-07-01 20:04:15
227
原创 手撕transformer——菜鸡的自我救赎
我之前从来没有认真对待过，直到需要看一些源码，这个欠的债一直在攻击我！transformer因为是对文本进行处理，不是CV的batch norm，而是使用了layer Norm。具体而言它是对数据的所有特征维度进行Norm，因为序列长度不一致。旋转位置编码是对QK向量进行编码，不是对原始的embedding向量进行编码。现在更多的是使用旋转位置编码，旋转位置编码可以在保证向量模长不变的情况下，让他们计算。然后是编码器层，编码器层是刚刚的模块进行组合并加入残差连接等trick。编码器是由编码器层堆叠而来的。
2025-12-10 15:04:27
306
原创 PPO与GRPO算法对比及详细解析
是强化学习中常用的一种策略优化方法，尤其在大模型训练中应用广泛。其核心思想是通过限制新旧策略之间的变化幅度，保证训练过程的稳定性。
2025-10-14 12:20:35
1308
原创 为什么 CoT 能提升大模型的推理能力？
举个例子，假设训练数据中 A 与 C 的共现概率极低，那么模型在没有 CoT 的情况下，面对需要同时推断出 A 和 C 的情境时，表现往往不佳。但如果存在一个中间变量 B，且训练数据中 A 与 B、B 与 C 的共现概率都较高，CoT 就能引导模型先推理到 B，再由 B 推理到 C，从而成功实现 A 与 C 的关联。当训练数据由强相关变量形成的局部重叠集群时，模型可以通过串联这些局部推断，间接学习到那些在训练中很少直接共现的变量之间的关系，从而弥补“推理缺口”（reasoning gap）。
2025-07-19 00:09:40
1116
原创 ZeRO3 技术原理
摘要： DeepSpeed ZeRO3通过全面切分模型参数、梯度与优化器状态，显著降低单卡显存占用。每张GPU仅保留本地数据分片，通过all_gather临时聚合参数进行前向计算，反向传播使用reduce_scatter同步梯度。以4卡为例，显存占用从17GB降至5GB。通信操作（如all_gather、reduce_scatter）伴随短暂全量数据缓存，结合Offload策略可进一步优化显存。该方案支持超大模型训练，兼顾效率与资源利用率。
2025-07-04 15:11:42
1270
原创 DeepSpeed大模型训练加速
DeepSpeed是微软开发的深度学习优化库，专注于大模型训练加速。其核心技术包括：1) ZeRO优化器，通过分片优化器状态、梯度和参数，将内存需求降低至1/16；2) Sparse Attention，通过固定模式或动态稀疏化将注意力计算复杂度从O(n²)降至O(n)，速度提升3-5倍；3) 1 bit Adam，通过梯度量化减少5倍通信量，训练速度提升3.4倍。这些技术显著提升了大规模模型训练的效率和可扩展性。
2025-06-24 11:36:33
1073
原创 大模型分布式训练方法
大模型分布式训练主要采用四种并行方法：数据并行通过多设备处理不同数据并同步梯度；模型并行将网络层拆分到不同设备；流水线并行通过微批次填充提升设备利用率；张量并行对矩阵运算分块处理。实际应用中常组合这些方法，形成多层次混合并行策略，包括基础数据并行、纵向模型/流水线并行以及优化单层效率的张量并行，总并行度为各维度并行度的乘积。这些方法协同解决了大模型训练中的计算效率和显存限制问题。
2025-06-12 20:55:49
741
原创 SFT过程中如何判断是否过拟合
在SFT（监督微调）过程中，判断模型是否过拟合可以通过以下几种方法：首先，观察训练和评测数据的loss变化，若训练loss持续下降而评测loss上升，则可能过拟合。其次，通过模型输出判断，如模型在回答不同问题时频繁给出与训练数据相似的错误答案，可能表明过拟合。最后，通过调整训练参数（如减少epoch）并观察评测loss的变化，若loss下降则可能意味着过拟合。这些方法有助于及时发现并调整模型，避免过拟合现象。
2025-05-22 16:52:28
242
原创 记录一次Windows文件路径复制产生的诡异BUG
在微调大模型时，作者遇到了一个诡异的问题：脚本无法识别本地数据路径，反而自动从ModelScope下载数据。经过仔细排查，发现问题出在路径开头隐藏的Unicode字符U+202A（LRO，Left-to-Right Override），该字符用于控制文本方向，但在文件路径中会导致异常。这种字符通常从Windows文件夹属性中复制路径时引入，肉眼不可见，却会引发程序错误。作者提醒开发者警惕此类Unicode控制字符，避免类似问题。
2025-05-13 19:05:20
548
原创 使用SWIFT微调大模型完成回归任务
传统大语言模型通过预测下一个token的概率来生成文本，其损失函数通常采用softmax分类器，这使得它们难以直接处理回归任务（需要输出连续数值）。然而，大模型具备强大的高维特征编码能力，我们可以利用预训练模型作为特征提取器，通过微调适配回归任务，从而获得优异的性能表现。• 训练方式：取最后一个token的隐藏状态(1,896)，使用RMS损失函数计算回归结果。本示例使用大模型计算句子相似度，输出为0-1之间的连续相似度分数。• 类型：Decoder-only架构（24层堆叠）假设输入三个TOKEN。
2025-05-07 02:44:03
1441
原创 记录一次使用C++与matlab混合编程经历
C++与matlab进行联合编程。由于我需要使用fftw库进行编程，因此我需要在Visual Studio中进行编译。如果程序没有使用额外的库，可以直接在Matlab的命令窗口中进行编译，这样就无需配置Visual Studio，更加方便。需要注意的是，使用到的.dll文件需要复制到.mexw64C文件的同级目录中。这样，我们就能够直接调用该函数（函数名即为mexw64C文件的名称）进行编程。
2024-01-03 11:26:35
1923
1
原创 简单学习HTML的学习笔记
HTML的学习笔记简单贴上学习HTML的时候的全部标签代码代码简单贴上学习HTML的时候的全部标签代码代码下面展示一些 内联代码片。<!DOCTYPE html><html lang="zh-CN"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport
2022-02-10 12:46:04
629
原创 记录一次c++重载等号时遇到的问题
记录一次c++重载等号时遇到的问题文章目录记录一次c++重载等号时遇到的问题一、遇到的问题？二、解决办法加上const关键字一、遇到的问题？我用c++重载等号时写的代码是Set Set::operator =( Set &a){ number=a.number; for(int i=0;i<number;i++) { data[i]=a.data [i]; } return *this;}可是当我写完时，遇到的报错是118 4 F:\c++\上机\第四周上机
2021-04-01 18:23:37
358
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人