- 博客(57)
- 收藏
- 关注
RSS订阅原创 GRPO 熵降了就是熵崩吗？用采样预算看 Group Size
结合策略熵、验证正确率和解法多样性排查熵崩，再用固定采样预算算 group size 增大后的有效组比例和题目覆盖。
2026-11-10 22:22:21
190
原创 同样答对，GRPO 为什么给不同的优势？
对比一组只有一条答对与一组有三条答对，手算组内优势，再用正负优势两个例子解释概率比裁剪和 loss 的负号。
2026-11-10 22:21:50
95
原创 GRPO 为什么越训越啰嗦？从目标函数看长度偏差
拆解结果监督 GRPO 的目标函数，用 20 和 200 token 手算原版 GRPO、DAPO 与 Dr. GRPO 的归一化权重，区分长度偏差、信用分配和奖励设计。
2026-11-10 22:21:29
121
原创 Agent 强化学习的下一步：从环境反馈到能力回归
从可验证的多步任务出发，讨论 Agent 强化学习的方向和 rollout 成本，再用虚构的检查点数据解释奖励失真、旧能力退化和回归评估。
2026-11-09 00:50:06
319
原创 手算 PPO 和 GRPO 的优势，顺便讲清 on-policy 与 off-policy
从三步 rollout 手算 TD 误差和 GAE，对照真正终止与截断，再用一组非二值奖励说明 GRPO 的优势估计，以及 on-policy 和 off-policy 的数据差别。
2026-11-09 00:49:44
187
原创 贝尔曼方程手算：同一个随机 MDP，算出固定策略和最优策略的价值
用两关随机 MDP，从折扣回报推到贝尔曼期望方程和最优方程。手算固定策略、跑三轮价值迭代，并解释折扣、终止奖励和 max 的位置。
2026-11-09 00:48:14
160
原创 RAG、SFT、RL 怎么选？基座模型越来越强，什么时候还值得微调
以内部 SDK 升级助手为例，用证据召回、行为约定和路径选择区分 RAG、SFT 和 RL，说明强基座下何时值得微调，以及怎么做对照实验。
2026-11-08 00:08:12
188
原创 RL 冷启动省在哪？从 GRPO 同分组到工具调用奖励
用 GRPO 组内同分和 rollout 数量的算例，说明冷启动如何影响有效探索，并用沙箱代码修复任务演示如何把成功奖励和工具成本结合。
2026-11-08 00:07:49
198
原创 SFT 的 Loss 降了，模型为什么还会答错？
以「Python 是什么」为例，手算单 token 交叉熵和整句平均 loss，比较教师强制与自由生成，并给出检查掩码和关键 token 的办法。
2026-11-08 00:06:57
298
原创 SFT 的 Loss 怎么算？从下一 Token 预测到 Shift 和 Mask
用一个两目标 token 的例子手算 SFT 交叉熵，再用 PyTorch 对照 shift、label mask 和 attention mask，说明多轮对话、工具调用和 packing 的计分边界。
2026-11-07 00:41:04
340
原创 SFT 怎么做才算有效？全参数微调、LoRA、QLoRA 和验收指标
比较全参数微调、LoRA 与 QLoRA，给出指令、多轮对话和工具轨迹的数据示例，并说明如何结合验证 loss、任务成功率与能力回归选择和验收 checkpoint。
2026-11-07 00:40:16
202
原创 大模型后训练怎么选：SFT、RL 和冷启动
从工具调用的两种常见失败出发，比较 SFT 与在线 RL 的训练信号和适用场景，解释为什么常用 SFT 冷启动，以及什么条件下可以直接做 RL。
2026-11-07 00:31:09
213
原创 强化学习入门：从贝尔曼方程到 SFT、DPO、PPO、GRPO 与 DAPO
面向大模型后训练初学者，梳理强化学习基本概念、贝尔曼方程与 Q-learning，对比 SFT、DPO、PPO、GRPO、DAPO，解释 Critic、GAE、clipping 和组内优势，并串起 Rollout、Reward、Advantage、Loss 到参数更新的完整链路。
2026-11-05 23:10:49
312
原创 Windows + WSL + VS Code + Codex 插件官方登录：最省事的正确配置
/.bashrc7897noProxy目标：在 Windows 上使用代理软件，通过 WSL + VS Code Remote + Codex 插件正常登录和使用 Codex，。本方案适用于典型的。示例代理端口使用7897；如果你的代理软件端口不同，请统一替换。
2026-09-21 00:43:08
291
原创 深度学习15——归一化方法
摘要：Transformer中归一化的核心作用是稳定隐藏状态的数值尺度，改善训练稳定性。大语言模型主要采用LayerNorm和RMSNorm两种方法：LayerNorm通过减均值除标准差实现归一化，使数据分布均值为0、方差为1；RMSNorm则简化计算，仅通过除均方根调节尺度。相比其他归一化方法（如BatchNorm），这两种方式更适合处理变长序列。LayerNorm和RMSNorm通过可学习参数保持模型表达能力，成为Transformer架构中的关键组件，有效解决了深层网络梯度传播问题，为大模型训练提供了
2026-08-06 15:05:55
219
原创 深度学习14——RoPE旋转位置编码
RoPE（旋转位置编码）是一种创新的位置编码方法，通过旋转操作将位置信息融入注意力机制。与传统加法式位置编码不同，RoPE在生成Q、K向量后，将其维度两两分组并分别施加不同频率的旋转，旋转角度由token位置决定。这种方法使Q、K点积计算自然包含相对位置信息，同时保持向量模长不变。不同旋转速度的二维组组合能有效区分远近位置关系，且单个维度的周期性重合不会影响整体表示。RoPE仅作用于Q、K而不旋转V，确保位置信息只影响注意力权重计算而非内容传递。这种设计使模型能同时捕捉语义关联和位置关系，成为Transfo
2026-08-06 13:57:56
350
原创 深度学习13——MoE模型
本文对比分析了Dense模型与MoE（混合专家）模型的核心差异。Dense模型中所有token共享同一套完整参数，计算稳定但参数量增加时会同步提升计算成本。MoE模型通过替换FFN为多个专家网络，配合Router机制选择性地激活Top-k专家，在保持模型总容量大的同时控制单token计算量。MoE虽然能降低计算量，但仍需存储全部专家参数，并面临专家坍缩、负载不均衡等问题，需通过辅助损失、容量限制、噪声注入等策略优化。与Dense模型相比，MoE通过稀疏激活实现了"大容量+低计算"的特性，
2026-08-05 16:54:24
248
原创 深度学习12——MHA/GQA/MQA
摘要：本文对比了三种注意力机制：多头注意力(MHA)、多查询注意力(MQA)和分组查询注意力(GQA)。MHA每个查询头使用独立的键值对，表达能力最强但显存开销大；MQA所有查询头共享同一组键值，显著减少显存占用但表达能力较弱；GQA是折中方案，将查询头分组共享键值对，在保持较好表达能力的同时降低显存需求。GQA通过逻辑复用键值头实现计算，实际缓存中仍保存原始少量键值头。这三种机制在模型能力、推理速度和显存开销之间提供了不同权衡方案。
2026-08-05 16:42:31
192
原创 深度学习11——Tokenization、embedding、位置编码
本文介绍了Transformer模型中文本处理的几个关键步骤：首先通过Tokenizer将文本切分成token并映射为ID，接着通过Embedding层将ID转换为向量表示。文章解释了为何不能直接使用token ID输入网络，以及Embedding层作为可学习参数的重要性。同时对比了Token Embedding与上下文表示的区别，阐述了输入Embedding与输出LM Head的权重共享机制，并说明了Transformer需要位置编码的原因——因为Self-Attention本身不具备捕捉序列顺序的能力。
2026-07-28 10:59:43
427
原创 深度学习10——pytorch与数学前置
本文介绍了PyTorch中张量操作与Transformer模型的关键概念，主要包括： 张量形状与广播机制：解释了张量的多维数组本质和广播规则，说明不同形状张量如何进行逐元素运算。 nn.Linear与nn.Embedding： Linear层实现向量维度的线性变换，保持前导维度不变 Embedding层实现ID到向量的映射，支持批量处理 矩阵运算： 区分矩阵乘法(@)和逐元素乘法(*) 介绍了转置操作及其在高维张量中的应用 Transformer中的形状处理： 说明了从Token ID到Q/K/V的变换过程
2026-07-28 10:38:21
255
原创 深度学习9——transformer之注意力机制
摘要：本文概述了Transformer中的注意力机制工作原理。核心流程包括：将输入文本转为向量矩阵后映射为Q(查询)、K(键)、V(值)三组向量；通过Q与K的点积计算注意力分数，经缩放和Softmax得到权重后与V加权求和。其中除以√d_k的操作防止梯度消失，多头机制则通过并行多个注意力头捕获不同特征。最终输出经残差连接保留原始信息。整个过程实现了token间的上下文信息融合，是Transformer理解语义关系的关键。（149字）
2026-07-24 17:48:32
221
原创 深度学习8——AI时代的硬件设置了解
本文对比了CPU和GPU的特点，指出GPU凭借并行计算优势成为AI训练的核心硬件，介绍了显卡的组成和分类。文章阐述了NVIDIA凭借高性能GPU和CUDA生态主导AI计算市场，分析了AI发展推高GPU需求导致部分电脑（游戏本、工作站等）价格上涨的原因，同时指出电脑价格还受其他硬件和供应链因素影响。
2026-07-24 17:44:31
238
原创 深度学习7——常见机器学习算法
本文对比了6种传统机器学习模型的核心原理与特性：逻辑回归（线性组合+Sigmoid，适合二分类）；决策树（条件划分，易解释但易过拟合）；随机森林（多树集成投票，降低方差）；XGBoost（残差迭代增强，表格数据表现优）；KNN（惰性距离计算，适合小数据）；SVM（最大化分类间隔，适合中小规模数据）。最后概述了标准训练流程，包括数据划分、损失函数选择、优化调参等关键步骤，并区分了参数、超参数与模型结构的概念差异。（149字）
2026-07-23 19:14:30
222
原创 深度学习6——优化器
例如训练集有1000条数据，batch size为100，则一个epoch大约更新10次参数。相较于直接把L2项加入Adam的损失函数，AdamW的权重衰减行为更加明确。大语言模型和Transformer训练中通常更常见 AdamW。深度学习中通常所说的 SGD，实际一般指小批量 SGD。每次使用全部训练数据计算平均损失，然后更新一次参数。优化器根据损失函数计算出的梯度更新模型参数。每次随机选择一条样本计算损失并更新参数。但Adam并不意味着不需要调学习率。实际深度学习最常用的方式。
2026-07-23 19:11:05
166
原创 深度学习5——过拟合、欠拟合与正则化
本文摘要：文章探讨了机器学习中的过拟合与欠拟合问题，并介绍了常用的正则化方法。欠拟合表现为训练集和验证集效果均差，可能由模型能力不足、数据问题或正则化过强导致；过拟合则是训练集表现好但验证集差，常因数据不足、模型复杂或训练过度引起。正则化方法包括L1/L2正则化（通过修改损失函数约束权重）、权重衰减（参数更新时缩小权重）、Dropout（随机屏蔽神经元）等，以及数据增强和早停策略。这些方法从不同角度提升模型泛化能力，防止过拟合现象。
2026-07-23 19:00:13
265
原创 深度学习4——损失计算
本文介绍了机器学习中常用的损失函数及其应用场景。MAE（平均绝对误差）和MSE（均方误差）是回归任务中的主要损失函数，MSE对大误差更敏感。交叉熵损失主要用于分类任务，包括二分类（BCE）和多分类（CCE）两种情况。在多任务学习中，总损失通常由各子任务的加权损失组成，如目标检测中的box_loss、cls_loss等。训练时需要同时关注训练损失和验证指标（如mAP），不能仅凭损失值判断模型性能。不同损失函数各有特点，需根据任务需求选择合适的损失函数及其权重。
2026-07-23 18:56:55
328
原创 深度学习3——数据集概述
本文摘要：机器学习包含传统方法和深度学习两大分支，传统方法依赖人工特征工程（如逻辑回归、随机森林），而深度学习通过神经网络自动提取特征（如CNN、Transformer）。数据集质量需关注标注准确性、类别平衡和样本覆盖度，可通过过采样、数据增强等方法处理不平衡问题。数据划分应将训练集（参数优化）、验证集（模型选择与调参）和测试集（最终评估）严格分离，避免数据泄漏，视频数据需按场景划分。关键原则是保持测试集的独立性，不得用于模型调整。
2026-07-23 17:56:07
256
原创 java多线程学习
本文系统介绍了Java多线程编程的核心概念和实践方法。主要内容包括：1. 线程与进程的区别，线程是CPU调度单位，共享进程资源；2. 线程创建的四种方式（继承Thread、实现Runnable、Lambda、Callable）；3. 线程池的原理与使用（Executor框架、submit/execute区别）；4. 线程同步机制（synchronized、Lock、volatile、原子类）；5. 线程通信（wait/notify）及常见并发问题；6. 线程生命周期管理。文章通过代码示例演示了多线程编程的最
2026-07-16 11:16:14
345
原创 在 WSL Ubuntu 中安装 Claude Code，并配置第三方 API
文章摘要：本文介绍了在WSL中直接运行ClaudeCode的安装配置方法。针对原生安装脚本可能卡住的问题，建议改用APT仓库安装：添加签名密钥和软件源后通过apt-get安装。文章还提供了第三方API配置方法，包括环境变量设置和永久配置文件修改(~/.bashrc或~/.claude/settings.json)。特别提醒API密钥不应写入项目配置文件或提交到Git。安装完成后可通过claude --version验证，使用claude -p测试API连接。
2026-07-15 11:03:13
367
原创 在 Windows 中使用 WSL2 搭建 Ubuntu 开发环境
WSL 全称为 Windows Subsystem for Linux，可以在 Windows 内部运行 Ubuntu 等 Linux 发行版。它不是双系统，也不需要开机时选择进入 Windows 还是 Linux。Windows 主要负责图形界面，Ubuntu 主要负责运行 Linux 项目和开发工具。
2026-07-15 10:57:55
230
原创 集群、分布式与微服务介绍
本文系统梳理了集群、分布式、微服务、分库分表等架构概念的核心区别：1. 集群：多个节点组成整体（同构/异构）提供统一服务能力，解决高并发、高可用和横向扩展问题；2. 分布式：将系统任务/数据分散到多个节点协作完成，涵盖业务拆分、计算分发、数据分片等场景；3. 微服务：按业务能力拆分系统的分布式架构，强调服务独立开发部署，是分布式的子集；4. 分库分表：数据库层面的分布式数据存储方案。这些概念可组合使用，如微服务集群+分布式数据库，共同构建复杂系统架构。理解其分层关系（架构层→部署层→数据层）能更好指导技术选
2026-07-13 15:23:00
266
原创 深度学习2——CNN与RNN概述
CNN 与 RNN 的结构特点及应用场景分析 摘要： 本文系统分析了卷积神经网络（CNN）和循环神经网络（RNN）的结构特点及其适用场景。CNN通过局部连接和参数共享的卷积核有效提取图像空间特征，配合池化层压缩特征图，适用于图像处理任务，但在处理序列数据时存在局限。RNN通过时序递归机制处理文本等序列数据，能捕捉词语顺序关系，但面临梯度消失和计算串行化的问题。研究比较了两种网络在特征提取、参数共享、并行计算等方面的差异，并探讨了全连接层的替代方案和词向量表示方法，为不同数据类型选择合适网络架构提供了理论依据
2026-07-11 23:46:05
278
原创 深度学习1——神经网络基础
本文系统介绍了神经网络的基本原理与训练过程。主要内容包括：神经网络通过调整权重和偏置参数来拟合输入输出映射关系；激活函数引入非线性使模型能学习复杂规律；完整训练过程包括前向传播、反向传播和参数更新；梯度下降和优化器的作用；局部极小值与全局最小值的区别；过拟合的成因及防止方法，如数据增强、正则化和Dropout；L1/L2正则化的数学原理与效果差异。文章从理论和实践角度全面解析了神经网络训练的关键概念与技术细节，为理解深度学习模型提供了清晰的知识框架。
2026-07-11 23:32:14
347
原创 哈希与hashmap原理知识点总结（java）
对比项HashMapHashSet存储内容key-value 键值对单个元素底层结构数组 + 链表 + 红黑树基于 HashMap是否允许重复key 不允许重复，value 可以重复元素不允许重复是否有序不保证顺序不保证顺序是否允许 null允许一个 null key，多个 null value允许一个 null 元素时只是创建对象，底层数组在第一次put时才初始化。
2026-07-04 22:57:34
245
原创 数据库学习笔记2——MySQL 的锁机制
MySQL锁机制详解：从全局到行级的并发控制 摘要： MySQL锁机制按范围可分为全局锁、表级锁和行级锁。全局锁用于全库备份，InnoDB通过MVCC支持无锁备份。表级锁以MyISAM为代表，适合读多写少场景；InnoDB主要采用行级锁提升并发性能，包含共享锁(S锁)、排他锁(X锁)及防止幻读的间隙锁/临键锁。锁的实现方式分为悲观锁（先加锁后操作）和乐观锁（版本号校验）。InnoDB通过意向锁协调表锁与行锁的冲突，使用MVCC实现快照读与当前读的分离。行锁虽提升并发但可能引发死锁，需通过规范访问顺序等方式规
2026-07-04 17:25:58
238
原创 数据库学习笔记1——数据类型与数据库类型
本文系统解析了两组数据库核心概念的区别与联系：1. 数据结构维度（结构化/半结构化/非结构化）- 结构化数据：固定字段的二维表数据（如MySQL表）- 半结构化数据：灵活字段的JSON/XML/日志数据- 非结构化数据：无固定结构的图片/视频/文档2. 数据库模型维度（关系型/非关系型）- 关系型：基于表结构的MySQL/Oracle，适合强一致性业务- 非关系型：包括文档型（MongoDB）、键值型（Redis）、图数据库（Neo4j）、向量数据库等关键差异在于：数据结构描述"数据长什么样&qu
2026-07-03 22:56:32
185
原创 Agent Skill 学习笔记
这篇文章介绍了AI Agent的Skill概念及其应用。Skill是为AI提供的一套可复用任务执行指南，包含流程、输入输出规范、异常处理等内容，不同于一次性Prompt。 主要内容包括： Skill的结构（YAML元数据+Markdown正文） 适合做成Skill的场景（流程明确、重复出现、经验可复用） Skill与CLI、MCP的区别与配合（CLI调用命令，Skill指导流程，MCP连接工具） Skill的价值在于沉淀经验、稳定输出、降低上下文成本 Skill将任务执行方法标准化，使AI能更稳定高效地完成
2026-06-30 22:17:29
294
原创 状态机与Agent状态机学习笔记
Agent 是具备自主执行能力的程序（可自主拆解任务、检索资料、调用工具），其执行过程是分阶段推进的，因此需要状态机来管控整个执行流程。当前处于什么任务阶段下一步该执行什么动作出错后如何处理是否需要人工介入状态机本质是通过「状态 + 事件 + 转移规则」实现流程管控。在 Agent 场景中，它用于管理从任务接收、上下文加载、计划生成、工具调用到自检、人工确认的全执行链路，赋予 Agent 可控、可恢复、可追踪、可重试的工程能力。
2026-06-27 22:50:14
379
原创 算法笔记：合并K个升序链表（LeetCode 23）
摘要：合并K个升序链表的三种解法 本文详细分析了LeetCode 23题的三种解法。基础工具是合并两个升序链表的双指针方法。解法一顺序合并，时间复杂度O(k²n)；解法二采用分治策略两两合并，时间复杂度优化至O(kn·logk)；解法三使用最小堆优先队列，同样达到O(kn·logk)的时间效率。文章还指出了常见实现错误：初始值设置不当、节点复用导致环形链表、比较器潜在隐患，并提供了规范写法。三种解法各有特点，分治法和堆方法在大规模数据时更具优势。
2026-06-26 21:40:36
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人