- 博客(16)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 LLM监督微调SFT实战指南(Qwen3-0.6B-Base)
本文介绍了大语言模型(LLM)训练的两个关键阶段：预训练和后训练/微调，重点讲解了监督微调(SFT)方法。SFT通过"提示-回答"对数据训练模型，使其能够遵循指令执行特定任务。文章详细阐述了SFT的关键点，包括数据质量要求、与其他后训练方法的区别，并提供了基于Qwen3-0.6B-Base模型的实践代码示例，包含模型加载、推理生成和测试评估等完整流程。代码部分展示了如何构建对话历史、应用聊天模板、进行模型推理生成以及结果解码处理等关键步骤。
2025-10-15 23:26:10
1200
原创 低秩适配：LoRA高效微调揭秘
LoRA(低秩自适应)是一种针对大型预训练语言模型(如GPT-3)的高效微调技术。传统全量微调需要更新所有参数，存在计算成本高、存储需求大和灾难性遗忘等问题。LoRA通过冻结原始模型权重，仅在注意力层等关键位置添加小型可训练"旁路"网络(B和A矩阵)，大幅减少训练参数量。
2025-10-09 00:53:45
1243
原创 大模型学习笔记：P-tuning
P-tuning系列方法通过将离散提示转化为连续可优化的向量，显著提升了提示工程的效率。P-tuning v1引入Prompt Encoder生成伪提示，实现参数高效微调；P-tuning v2进一步提出深度提示优化，在Transformer每一层添加可训练前缀，增强模型表达能力。
2025-10-08 23:41:07
822
原创 DPO优化：从偏好数据到高效模型对齐
DPO（直接偏好优化）简化了传统RLHF流程，绕过显式奖励模型训练，直接利用偏好数据优化语言模型。其核心思想是将RLHF的奖励建模和强化学习合并为一个分类损失函数.
2025-10-08 16:27:36
1275
原创 大模型学习笔记--从零理解REINFORCE算法
REINFORCE算法是强化学习中的基础策略梯度方法，其核心思想是通过蒙特卡洛采样直接优化策略。在大模型应用中，该算法将LLM视为策略，通过完整生成文本序列后获得的最终奖励来调整模型参数。虽然原理简单（用轨迹总奖励乘以动作概率梯度进行参数更新），但存在高方差问题，导致训练不稳定。改进方法包括引入未来累计奖励和基线值（如状态价值函数）来降低方差。尽管现代算法如PPO更为常用，理解REINFORCE对掌握策略梯度方法至关重要。该算法在LLM对齐中，通过人类反馈或奖励模型评分来优化生成内容的质量。
2025-10-08 13:36:42
1042
原创 RLHF学习笔记
RLHF是一项通过人类偏好指导AI模型优化的突破性技术。其核心流程包含四个关键组件：1）待训练的Actor模型（生成文本）；2）Critic模型（预测未来奖励）；3）Reward模型（提供即时评分）；4）Reference模型（防止模型偏离）。训练过程分为三步：首先Actor生成响应并获得Reward模型评分；然后Critic评估状态价值并计算优势值；最后通过PPO算法更新模型参数。RLHF通过人类反馈和KL散度约束，在提升模型表现的同时保持输出稳定性，广泛应用于大语言模型优化。
2025-10-06 13:57:07
1362
原创 统计学习方法(李航) 第六章(2) 最大熵模型(一)
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻统计学习方法（李航） 第四章 贝叶斯统计学习方法(李航) 第五章 决策树我们先从基础概念“熵”开始。在信息论中，熵（Entropy）是衡量一个随机变量不确定性的度量。对于一个离散随机变量 XXX，其可能取值为 {x1,x2,...,xk}\{x_1, x_2, ..., x_k\}{x1,x2,...,xk}，对应的概率分布为 P(X=xi)=piP(X=x_i) = p_iP(
2025-05-03 21:08:21
1172
原创 统计学习方法(李航) 第六章(2) 最大熵模型(二)
本节我们详细探讨了最大熵原理及其在建模条件概率分布PY∣XP(Y|X)PY∣X中的应用——最大熵模型在满足已知约束（特征期望匹配经验期望）的前提下，选择熵最大的模型度量不确定性。均匀分布熵最大（无约束），正态分布熵最大（给定均值方差）推导得出Pwy∣x1Zwxexp∑i1nwifixyPwy∣xZwx1exp∑i1nwifixy，其中ZwxZ_w(x)Zwx。
2025-05-03 21:08:05
707
原创 统计学习方法(李航) 第六章(1) 逻辑回归
核心假设: 给定特征XX1XpXX1Xp，我们想建模的是Y1Y=1Y1的条件概率πXPY1∣XπXPY1∣X。逻辑回归假设这个概率可以通过 Sigmoid 函数作用于XXX的线性组合β0β1X1⋯βpXpβ0β1X1⋯βpXpπXPY1∣X11e−β0β1X1⋯βpXpeβ0β1X1⋯βpXp1eβ0β。
2025-05-03 21:03:49
909
原创 统计学习方法（李航） 第五章 决策树
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻统计学习方法（李航） 第四章 贝叶斯统计学习方法（李航） 第五章 决策树决策树是一种树形结构的分类或回归模型，通过一系列 if-then 规则对数据进行决策示例：对于数据集 {(x1,y1),(x2,y2),…,(xn,yn)}\{ (x_1, y_1), (x_2, y_2), \dots, (x_n, y_n) \}{(x1,y1),(x2,y2),…,(xn,yn)}
2025-04-30 21:49:09
1566
原创 统计学习方法（李航） 第四章 贝叶斯
笔记目录：统计学习方法（李航） 第一章 绪论统计学习方法（李航）第二章 感知机统计学习方法（李航）第三章 k近邻贝叶斯定理:已知: 存在 KKK 类 c1,c2,...,cKc_1,c_2,...,c_Kc1,c2,...,cK, 给定一个新的实例x=(x(1),x(2),...,x(n))x=(x^{(1)},x^{(2)},...,x^{(n)})x=(x(1),x(2),...,x(n))问: 该实例属于cic_ici类的概率是多少?P(Y=ci∣X=x)=P(X=x∣Y=ci)∗P(Y
2025-04-29 21:26:33
1315
原创 统计学习方法（李航） 第三章 k近邻算法
k近邻法是一种基本的分类与回归方法, 其主要思想是: 假定给定一个训练集, 其中的实例标签已定, 当输入新的实例时, 可以根据其最近的k个训练实例的标签, 预测新实例对应的标注信息分类问题: 对新的实例, 通过与之相邻的k个训练实例的类别, 通过多数表决等方式进行预测回归问题: 对新的实例, 根据与之相邻的k个训练实例的标签, 通过均值计算进行预测输入: 训练集T{(x1y1x2y2...xnyn)}xi∈X⊆Rny∈Yc。
2025-04-28 19:25:50
830
原创 统计学习方法（李航）第二章 感知机笔记
X⊆Rn;输入:xx1x2...xnT∈X输出空间:Y1−1;输出:y=∈Yfxsignw∗xb1w∗xb≥0−1w∗xb0其中,wx1x2...xnT∈Rn称为权值, $b \in R $ 称为偏置,w∗x表示内积假设空间:Ff∣fxw∗xb。
2025-04-28 19:20:00
1076
原创 吴恩达Transformer2025版最新讲解（课程详细笔记）
在前面我们讨论了transformer如何进行模块的堆叠，在语言模型处理的最后阶段，会被转换为某种评分或标记概率的计算。所以语言模型头的结果是这种标记概率评分，表明在所有已知的token中每个token各自都多少概率会被输出，这些概率之和也就是百分之一百。贪婪解码（如选择最高概率的token）生成确定性结果，但可能陷入局部最优；Top-p（核采样）从累积概率阈值内的候选集中随机抽取，平衡多样性与合理性，因此相同提示会产生不同输出。这是解码策略差异导致的生成结果波动。
2025-03-11 23:27:06
2883
1
空空如也
类不存在默认构造函数
2022-04-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人