- 博客(61)
- 收藏
- 关注
RSS订阅原创 deepseek 系列模型演进
Coder解决的是“代码基座怎么做”；Coder-V2解决的是“如何把主线 MoE/长上下文能力迁进代码”。代码线对主线的最大反哺有两点：为 V3/V3.2 的 coding benchmark 和 code agent 打底；证明 MoE 不仅适合通用语言，也适合高结构化代码分布。解决的是“数学数据 + 数学 RL”；解决的是“数学 reasoning 如何自证正确”。GRPO 从这条线出生，最终反哺了 V2、V3、R1、V3.2、Janus-Pro-R1。Prover。
2026-04-09 23:38:09
890
原创 GPU架构
Grid (网格)：由于任务太大（如 4K 屏幕的 800 万个像素），程序员将其定义为一个 Grid。Block (线程块)“旅游团”。Grid 被切分成无数个 Block（如每个 Block 128 个线程）。特性：一个 Block 必须作为一个整体被分配给一个 SM，且终身不迁移。
2026-01-08 22:40:35
1312
原创 The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models
本文旨在克服扩大强化学习（RL）规模以用于大语言模型（LLMs）推理时的一个主要障碍，即策略熵的坍塌（collapse of policy entropy）。这种现象在未进行熵干预的大规模RL运行中被持续观察到：策略熵在训练早期急剧下降，导致策略模型过于自信。结果是，这种探索能力的减弱总是伴随着策略性能的饱和。在实践中，我们建立了熵HH与下游性能RRR之间的变换方程R−aexpHbR−aexpHb，其中aba, bab为拟合系数。
2026-01-05 21:58:43
1172
原创 LLM推理训练的显存占用分析
符号含义示例 (Qwen-7B)BBBBatch Size2LLL2048hhh4096aaa32lll32PPP2 BytesMMM1 Byte。
2026-01-02 17:27:01
820
原创 Kimi K2技术报告
这一章节详细介绍了 Kimi K2 在强化学习（RL）阶段的基础设施建设。为了解决 RL 中奖励信号稀疏或不准确的问题，K2 团队针对不同领域的任务，构建了一套基于“真值验证”的自动化奖励体系。对于无法直接通过程序验证的任务（如写作、建议、角色扮演），Kimi K2 采用了自我批判准则奖励自动化准则生成 (Rubric Generation)为每个任务利用 LLM 生成一套详细的评分维度（如：逻辑严密性、语气友好度、指令对齐度）。模型自我评估 (Self-Evaluation)
2026-01-01 16:34:00
1133
原创 KL散度的无偏估计
对的，但在 RLHF 的训练实战中，这种情况导致梯度爆炸的概率极低。我们的模型在生成当前的Token时，当Q(x)很小的时候，这个小概率的Token也就几乎不太可能被采样出来。梯度瞬间爆炸，模型训练直接 NaN（Not a Number）崩溃。对某个动作极度自信，Q(x)=0.9，而这个动作参考模型P觉得一般，P(x)=0.0009。这是verl框架中的KL散度的计算函数，我们只关注K3估计的计算，我们会发现这里使用的。时），而 KL 散度理论上是非负的。这里对LLM中的KL散度做一些详细的总结。
2025-12-30 09:14:24
942
原创 Group Sequence Policy Optimization(GSPO)
摘要： 本文分析了GRPO算法在训练大规模语言模型时的稳定性问题，指出其Token级重要性采样导致高方差噪声累积，尤其对MoE模型造成专家激活波动和收敛困难。作者提出GSPO算法，采用序列级重要性采样和长度归一化，有效降低方差并提高鲁棒性。实验表明，GSPO在MoE训练中无需路由重放即可稳定收敛，解决了GRPO的模型崩溃问题，为长序列生成和超大规模模型训练提供了更可靠的优化方案。
2025-12-29 14:02:33
628
原创 推理LLM模型正在放弃temperature参数
推理模型（如 DeepSeek-R1）通过生成长思维链（Chain of Thought, CoT）来解决更困难的问题，但在低温采样或贪婪解码（Greedy Decoding）时，它们经常会陷入循环，不断重复相同的文本。我们要研究为什么会发生这种情况，以及采样温度（Temperature）在其中扮演了什么角色。通过对开源推理模型的研究，我们发现循环在低温下非常普遍。较大的模型循环较少，而蒸馏后的学生模型即使在其教师模型很少循环的情况下，也会表现出显著的循环现象。
2025-12-28 21:08:09
976
原创 RL是否真的扩展了模型的推理能力边界？
本文探讨了强化学习(RL)对语言模型推理能力的影响机制。通过构建可控的合成数据实验框架，研究发现RL并非万能，而是作为"放大器"依赖于预训练埋下的"种子能力"。实验采用三阶段训练：预训练掌握基础算术，中阶段训练调整表示，RL阶段在能力边界进行探索。关键发现包括：RL效果取决于数据难度处于模型能力边缘；预训练必须包含相关原子概念种子；过程验证评估可准确衡量推理能力。该研究为理解RL在语言模型中的作用提供了新视角。
2025-12-26 20:43:28
861
原创 cs336Lecture 5 and7
相反，如果一个线程需要访问散落的数据，那就不得不写入global memory，会非常慢。当一个 warp 中的所有线程同时执行一个 load instruction，并且它们访问的内存地址落在同一个 burst section 内时，这些内存访问可以被合并为一个 DRAM 请求。SM有很多控制逻辑，它可以决定执行什么，SP的操作是接受相同的指令，并将其应用于许多不同的数据。GPU有大量的compute units(ALU)，优化的是总体数据的处理量，而CPU优化的是latency（每个线程尽快完成）
2025-12-14 22:01:38
931
原创 大语言模型
预训练的核心作用是赋予模型海量的知识，而所谓对齐，其实就是让模型与人类价值观一致，从而输出人类希望其输出的内容。也就是在数据并行的情况下， 每张GPU上的模型参数是保持一致的，训练的总批次大小等于每张卡上的批次大小之和。但是当LLM扩大到上百亿参数，单张GPU内存往往就无法存放完整的模型参数，如上图所示，此时可以将模型拆分到多个GPU上，每个GPU存放不同的层或不同部分，实现模型并行。所谓指令微调，即我们训练的输入是各种类型的用户指令，而需要模型拟合的输出则是我们希望模型在收到该指令后做出的回复。
2025-10-19 19:11:15
941
原创 预训练语言模型
Encoder 块中是堆叠起来的 N 层 Encoder Layer，BERT 有两种规模的模型，分别是 base 版本（12层 Encoder Layer，768 的隐藏层维度，总参数量 110M），large 版本（24层 Encoder Layer，1024 的隐藏层维度，总参数量 340M）。对于不同的NLP任务，每次输入都会加上一个任务描述前缀。MLM 的思路也很简单，在一个文本序列中随机遮蔽部分 token，然后将所有未被遮蔽的 token 输入模型，要求模型根据输入预测被遮蔽的 token。
2025-10-19 17:17:09
1053
原创 位置编码(position embedding)
在直角坐标系中，对于向量x和y来说，其点乘满足公式xT⋅y∣∣x∣∣⋅∣∣y∣∣⋅cosγ。这个夹角就是两个向量之间的相对向量。只要两个向量的模长不变，夹角不变，无论在坐标系的哪个位置，点乘的结果就不会发生变化。在线性代数中，矩阵是可以表示线性变换的。对于二位向量x，绕原点旋转m弧度后，变成Rm⋅x。其中，矩阵RmRmcosmsinm−sinmcosm进一步可得到RmT⋅RnRn−m。
2025-07-24 20:26:15
1203
原创 cs336 Lecture2
Tensor的内存占用取决于元素的个数以及每个元素的类别Float16在训练过程中由于精度较低的问题，容易出现overflow,underflow。为了解决这个问题，开发了bfloat16。它具有和float32相同的动态范围，但是相应的，精度由小数部分决定，会更差，但是对ML来说不是很重要。
2025-07-21 22:32:18
533
原创 BatchNorm解决梯度消失/爆炸
摘要：协变量偏移指训练和测试数据分布不一致导致模型性能下降。深度神经网络中的内部协变量偏移（ICS）表现为网络层输入分布随训练过程不断变化，导致学习速度变慢和梯度消失问题。BatchNorm通过强制每层输入保持稳定分布（如均值0、方差1）来缓解ICS，但完全标准化会削弱网络表达能力。因此，BatchNorm引入可学习的缩放参数γ和平移参数β，使网络能够自适应地调整最佳数据分布，平衡稳定性和表达能力。（149字）
2025-07-10 19:02:49
215
原创 《attention is all you need》论文精读
本文提出Transformer模型，一种完全基于注意力机制的序列转录架构，摒弃了传统RNN和CNN结构。模型采用编码器-解码器框架，使用多头自注意力机制实现并行计算，解决了RNN时序依赖和CNN长距离依赖问题。关键技术包括：层归一化、残差连接、位置编码和三种正则化方法（子层dropout、嵌入dropout和标签平滑）。实验表明，Transformer在翻译任务上训练更快、效果更好。该工作首次验证了纯注意力机制在序列建模中的有效性，为后续研究奠定了基础。 （字数：149）
2025-07-05 17:21:02
1629
原创 朴素贝叶斯算法分类
但是此时如果我们直接输出的话会出现下溢出问题，是由于太多个小数相乘造成的，在python的精度下，太多小数相乘会四舍五入为0，会影响得到正确的答案。一种解决方法是对乘积取自然对数，所以我们可以修改以下代码。但是我们输出结果后会发现基于极大似然估计得朴素贝叶斯算法的结果差强人意，如果其中一个类别的概率值为0，那么最后的乘积也为0，我们可以贝叶斯估计优化算法，在条件概率计算的公式的分子分母上分别加上。也就是将条件概率和先验概率的分子初始化为1，分母初始化为2.代表分类的个数，此样例中为2，即侮辱与非侮辱类。
2024-04-24 11:55:13
952
原创 AtCoder Beginner Contest 319 G - Counting Shortest Paths
中维护集合表示未被遍历到的点，而一个节点在这个集合存在的次数不超过。后我们其实是在其补图上求最短路。
2023-09-10 15:21:43
430
原创 根号分治
那么这样在新的图中的三元环在旧图中也依旧是三元环，不会影响答案。前言：感觉根号分治这种根号类算法的难度在于对题目转化，然后去证明出正确的复杂度（接下来考虑后面的染色，根据代码，如果某个点被更新，那么更新后的距离一定是小于。但是怕被卡，所以我们进行根号分治，只记录。时，可以发现新图中节点的度数不会大于原图。次询问，当前询问增加一层，那么最多会增加。的，所以对于某个点来说，其最多会被更新。个点，那么相邻点之间的最大距离。时，因为原图中节点的度数为。, 新图中节点的出度为。的深度的节点的状态，
2023-08-11 23:11:19
537
原创 一类计数类DP的解法
我们将所有黑色格子先排序，那么我们去固定我们第一个经过的黑色格子的位置，那么所有的子问题将不会有重叠。如果把图中的双连通分量都看成点的话，那么最终形成一颗树，树边连接各个双连通分量。既然是不连通的图，那么必然是若干个连通块形成的，那么我们去枚举节点1所在连通块的大小即可不会造成重复。个格子是黑色的，其它都是白色的，求从左上角走到左下角且不能经过黑色格子的方案数，每次选择向右或下走。的转移：我们以编号最小的节点所在连通块为基准，枚举连通块大小。那么我们仿照之前的做法，枚举1所在的双连通分量的大小。
2023-07-31 23:59:45
455
原创 AtCoder Regular Contest 159
对于这种限制操作次数，而且很明显操作次数会很多的构造题，我们应尽量去找存不存在一个元操作使数组有某种变化，然后复制该操作。那么我们就找到了一个元操作，使得一个位置增加1，一个位置减少1.一个很重要的性质：若一个区间被选，那么选的一定是其一个后缀。：第i个区间必选的最长上升子序列。而且不难发现的是，后面的。，那么我们需要找到一个最小的整数。的前提下将数组所有元素变得相等。次，直接暴力递归求解即可。，我们先随便找一个排列将其变成。的倍数，那么我们暴力枚举。，求能否在操作次数不超过。，操作一次后等价于求。
2023-07-16 18:26:04
459
原创 Codeforces Round 721 (Div. 2) B2. Palindrome Game(博弈)
是偶数，Alice只能先进行操作1，之后Bob每次在对应位置上也进行操作1，保持仍为回文串，当剩最后一个时，Bob进行操作2，Bob获胜。如果cnt时奇数，Alice修改中间位置，此时转化为上述cnt为偶数的情况，Alice获胜。如果不为1，那么Alice依旧可以一直翻转，知道Bob将其补为回文串的时候，修改中间位置，Alice必胜。：Alice可以任意翻转，而Bob必然将字符串补成回文串，在Bob即将将字符串补成回文串的时候，Alice不再翻转，将其补成回文串，此时Alice变为后手，必胜。
2023-07-14 00:13:35
219
原创 势能线段树
我们发现两种操作不会改变数在二进制下的1的个数，且操作2会每次减少一个1。那么如果某个区间的所有数的二进制1的个数为0，那么不再修改，结束递归，否则就一直递归进行单点修改。对于操作3，则相对于二进制下的区间乘。观察数据范围，100以内的质数不到30个，那么我们可以将。，那么直接进行区间乘，否则继续递归修改。那么如果对于某个区间全部含有因子质数。拆分成质数进行区间乘的修改。的数的欧拉函数值的和。的和，操作2：将区间。
2023-07-13 23:50:05
230
原创 AtCoder Beginner Contest 309
的取值最多也就9种。看起来会更好做一点？所以考虑容斥，求出满足至少有一个位置满足。因为我们只关心相对大小，所以我们先对其进行离散化，然后按。枚举到当前长方体时，将离散化后的。转移很好转移，最后利用容斥转一下就可以了。的所以下标对应的值的最小值即可。的长方体，问是否存在两个长方体。，那么我们只需查询小于当前。作为下标，对应的值为。，输出合法的方案数。个位置选的数的状态是。
2023-07-09 16:14:05
540
2
原创 最小异或对
给出一个多重集合，每次可以加一个数，删一个数，或者询问从集合中选出两个数，使其异或和最小。3.如果子树内只有一个元素，记录其值。1.该节点子树内的答案。2.子树内的元素的个数。输出每个询问的答案。
2023-05-18 23:53:39
239
原创 操作系统期末记录
如果另一进程申请该资源，那么申请进程应等到该资源释放为止。个进程应占有至少一个资源，并等待2请求和保持:另一个资源，而该资源为其他进程所占有。4循环等待:存在一种进程资源的循环等待链,链中每个进程已获得的资源同时被链中下一个进程所请求。这种地址变换是依靠硬件地址变换机构实现的，通常采用一个重定位寄存器，其中放有当前正在执行的程序在内存空间中的起始地址，而地址空间中的代码在装入过程中不发生变换。是指两个或两个以上的进程在执行过程中，因争守资源而造成的一种互相等待的现象,若无外力作用，它们都将无法推进下去。
2023-05-18 16:07:16
283
原创 2023天梯赛L3-2 完美树
的代价改变颜色，求将整棵树中黑色节点数量与白色节点数量相差不超过1的最小代价。给定一颗树，每个节点颜色为0，或1，0代表黑色，1代表白色。为根的子树中0、1节点数量相等。若为奇数，我们需要讨论。为根的子树中0节点数量大于1。为根的子树中0节点数量小于1。显然，只有子树大小为偶数时。还有一个问题是假如我们选了。即可，可以看代码如何实现。是偶数，我们只需考虑计算。的颜色,0和1数量相等。，如何选使总代价最小。为奇数，我们考虑转移。
2023-04-23 22:02:00
3659
1
原创 Codeforces Round 863 (Div. 3) G2. Vlad and the Nice Paths (hard version)
那么说明是新一段的第一个数，可以从之前的任意一种颜色转移，但是为了避免复杂度退化成。份，每份的颜色都相同。求长度最长的这样的子序列的个数。，加个小优化，维护一下和就行。，找出一个子序列的长度为。颜色结尾的最大长度，数量。转移的话需要注意的是如果。转移的话也较容易转移。，则将这个子序列分为。个数，最后一个颜色为。
2023-04-20 23:53:45
599
原创 Codeforces Round 862 (Div. 2) D E(树上问题)
那么显然所有的点都是孤立的。否则直径的两个端点肯定在一个连通块内，对于其它点，如果与两个端点在一个连通块内，那么它到两个端点的距离的最大肯定大于。，那么我们求出每个点的最大距离后排序，求出有多少个孤立的点，因为它们如果不能与两个端点在一个连通块，那么一定是一个孤立的点。，那么对于直径的两个端点距离是最远的，那么如果。
2023-04-06 20:31:31
322
原创 第十四届CCPC吉林省赛题解
构建trietrietrie树后建ACACAC自动机的failfailfail树，那么对一个串的后缀的最长公共前缀就是其在failfailfail树节点的父亲节点。那么对于询问1，假设对当前点x1,x2,x3x1,x2,x3x1,x2,x3打上新的标记，其实就相当于在failfailfail树上对于每个点以其为根的子树内打上标记。我们跑dfsdfsdfs序，就等价于区间加标记。为了防止重复加标记，假设x2x2x2在x1x1x1的子树内，那么我们只需对x1x1x1打标记即可。问题就转化为区间修改，单点查询了。
2023-04-05 19:02:19
1403
原创 Educational Codeforces Round 137 (Rated for Div. 2) E. FTL
这两个炮要么是各打各的，也就是一个充能好就立即释放，要么其中一个充能完毕后等着另一个充能，然后一起释放。启发就是：发动攻击之后，二者又同时开始冷却，我们就又回到了最开始的子问题。换句话说，在发动一次共同攻击之前：只要完成冷却，就立即攻击。那么激光2的攻击次数我们也是可以算出来的：在。，在上一次发动共同攻击之后，激光1又攻击了。1.只要某种激光冷却完毕，就立即攻击。2.等待两种激光均冷却完毕，发动攻击。有两个激光炮，充能时间为。求最快击杀怪物的时间。的时间内尽可能多攻击。
2022-10-20 03:21:14
405
1
原创 2022牛客杭电多校dp+字符串题目汇总
我们有一个很明显的最优策略，如果当前摸得牌凑不成对子，那么我们就将其丢弃。每轮从牌堆摸牌，若凑成七对子则赢，游戏结束；，同时也很显然，难点在于如何去设计一个合法且不重不漏的状态。这个不难想到，关键是如何去确定我们构造的是合法且不重不漏。状态转移就没什么难度了，枚举每一位填左括号和右括号即可。打麻将，初始手中有13张牌，相同的牌最多有两张。给定初始手牌，求最优策略下凑成七对子的期望轮数。求最小的区间长度(从1出发)，可以从点。张牌的情况下获胜的期望轮数。，如果不选择移动，进入第。，且左括号比右括号多。
2022-10-14 00:14:51
1481
1
原创 Codeforces Round #826 (Div. 3) G. Kirill and Company
跑完之后我们做个简单的背包统计一下最多可以带的人即可。，我们是应该想到状态压缩的。一层一层去扩展，是可以保证最短路的。题目要求了最短路，那么我们选择。
2022-10-12 23:41:48
559
原创 广西师范大学第三次院级程序设计竞赛 B:sort
根据题目的数据范围，我们可以对每个字母建一颗线段树，预估时间复杂度。如果从小到大排列，我们从小到大枚举然后暴力修改即可。
2022-10-12 21:15:14
331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人