- 博客(71)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 大语言模型训练阶段
大型语言模型（LLM）的训练流程主要包括预训练、监督微调（SFT）和强化学习对齐（RLHF）三个阶段。预训练赋予模型海量知识和推理能力；SFT通过指令微调使模型理解用户指令，而非针对具体任务微调；RLHF则通过人类反馈优化模型输出。奖励模型（RM）作为RLHF的核心组件，通过人类标注的偏好数据（如排序式标注）训练，对模型输出进行评分。强化学习采用PPO算法，结合策略模型和参考模型，利用优势函数优化生成结果。整个流程旨在提升模型的有用性、诚实性和无害性，使其输出更符合人类偏好。
2025-06-29 10:46:18
1238
原创 【论文精读】node2vec: Scalable Feature Learning for Networks
本文是我参加Datawhale的CS224W图机器学习时的笔记，第一次学习图机器学习，对node2vec的理解。node2vec也是在DeepWalk和LINE基础上，同样借助自然语言处理领域的词嵌入思想。主要改进了DeepWalk僵硬的随机游走节点选择策略，提供了可以调参的节点选择策略。可以捕捉到节点的同质社群信息和功能角色信息
2023-02-26 22:19:36
919
原创 【论文精读&实战】DeepWalk: Online Learning of Social Representations
本文是我参加Datawhale的CS224W图机器学习时的笔记，第一次学习图机器学习，对DeepWalk这篇开山之作的理解。
2023-02-19 12:26:13
1931
原创 强化学习与策略梯度：从交互式决策到 REINFORCE
强化学习通过智能体与环境交互学习最优策略，策略梯度方法直接优化策略参数θ以最大化期望奖励。核心公式表明：高奖励轨迹中的动作概率将被提升。REINFORCE算法通过蒙特卡洛采样估计梯度，使用整条轨迹奖励作为权重。改进方法包括：1）Reward-to-Go仅用未来奖励解决信用分配问题；2）引入基线函数降低方差；3）价值函数替代MC回报形成Actor-Critic框架。这些方法为语言模型等序列决策任务提供了理论基础，其核心思想是将不可导的奖励信号转化为策略模型的梯度更新方向。
2026-07-15 12:05:20
320
原创 强化学习与 PPO：从策略梯度到 LLM PPO/RLHF
本文介绍了强化学习的基本概念及其在大语言模型（LLM）中的应用，重点讨论了策略梯度和近端策略优化（PPO）算法。主要内容包括： 强化学习基础：智能体通过与环境交互学习最优策略，目标是最大化轨迹的累计奖励。策略模型（Actor）根据环境状态选择动作，环境反馈奖励并更新状态。 策略梯度方法：通过计算目标函数梯度优化策略，使用log-derivative trick和采样轨迹近似期望。介绍了on-policy和off-policy两种训练方式，PPO属于near on-policy方法。 Rollout策略：同步
2026-07-14 12:27:04
348
原创 LLM 推理中的 KV Cache：从 Transformer 层间表示到前缀复用
KV cache 机制整理：解释 KV cache 为什么能加速推理、为什么复用要求前缀严格一致、为什么高层 K/V 会依赖前文，以及它和 prompt cache、长期记忆的区别。
2026-06-20 15:36:37
410
原创 从 LIMIT 论文出发：重新理解 Embedding 检索
文章摘要：本文探讨了Embedding检索的基本原理及其局限性。传统单向量（single-vector）Embedding通过压缩文本为单个向量实现语义检索，虽高效但容易丢失细节。研究发现，即使模型强大，单向量表示仍可能因信息压缩导致检索失败。为此，多向量（multi-vector）方法如ColBERT被提出，保留词级（token-level）向量以提升细粒度匹配能力，通过延迟交互（late interaction）实现更精准的相关性判断。文章还指出，Embedding检索虽能处理语义相似性，但在复杂查询、
2026-06-02 16:42:27
359
原创 百面Bert
摘要： BERT基于Transformer的Encoder架构，采用预训练+微调范式，核心预训练任务为MLM（随机遮蔽15%的token并预测）和NSP（句子连续性判断）。微调时通过通用输入输出设计适配多任务，如使用<CLS> token表征句级语义。后续研究发现NSP任务效果有限（RoBERTa移除，ALBERT优化）。BERT在预处理阶段固定Mask模式，而变体改为动态Mask。Tokenizer采用BPE子词编码策略，词表大小影响性能和参数量。实验表明，动态Mask和优化任务设计可提升模型
2025-06-26 19:35:35
988
原创 百面Word2vec
CBOW(Continues Bag of Words): 直译为“连续的词袋模型”。通过上下文预测目标词Bag of Words（BoW）: NLP中的一个经典模型，它将文本表示为一个词的集合，忽略词序，只关注词频。Continuous: 它是一个连续的向量表示（Continuous），而不是传统的离散词频统计Skip-gram: 根据当前词来预测上下文各词的生成概率。
2025-05-05 11:15:23
1196
原创 推荐系统-排序模型-2
https://datawhalechina.github.io/fun-rec/#/ch02/ch2.2/ch2.2.4/DIN
2025-02-23 21:43:39
206
原创 推荐系统-排序模型
本次学习的重点是FM系列和WideNDeep系列。其实这两个模型是存在因果关系的。从最初的LR模型开始，因为缺失高效的特征交互方式，产生了FM模型，即通过向量内积代替特征之间的两两交互的参数。最后DNN的引入可以建模更高阶的特征。但是DNN如何与FM相结合，有两种方式，分别是并行和串行，串行引出了FNN、PNN等模型，但是浅层的特征在高层的隐藏层起不到作用。所以WideAndDeep诞生，直接将浅层和深层结合。但是这样会缺失重点，因此采用FM代替浅层，得到DeepFM模型。
2025-02-20 22:17:34
347
原创 推荐系统协同过滤召回算法概述
基于协同过滤的召回算法主要是应用在推荐环节的早期阶段，大致可以分为基于用户、基于物品的。两者各有优劣，优点是具有较好的可解释性，缺点是对于稀疏的交互矩阵，效果较差。无法挖掘用户和物品的深层关联。Swing算法虽然挖掘了用户和物品的关联网络，但是仍然是浅层的分析。基于矩阵分解SVD的算法一定程度解决了这个问题，通过将整个矩阵分解为用户和物品各自的向量，不仅解决了挖掘深度的问题，还可以融入属性信息。
2025-02-13 22:35:48
675
原创 序列推荐算法概述
本文是Datawhale2025年2月推荐算法组队学习的学习心得，Task1。主要对序列推荐算法这一研究领域进行深度挖掘，列出了一些子研究方向，并给出了部分研究论文
2025-02-10 22:51:39
1349
原创 Transformer论文精读
Transformer：Attention is all you need ，介绍了论文中各章节的主要思想，本文是对李沐老师的视频的学习笔记和李宏毅老师的视频笔记
2024-06-09 09:51:41
1001
原创 Logistic Regression
详细解释了Logistic Regression的原理，背景和损失函数、优化的目标函数、优化算法-梯度下降。以及包含上述概念的数学推导
2024-04-11 12:11:55
758
原创 动态规划解决马尔可夫决策过程
本文介绍了动态规划思想应用于解决马尔可夫决策过程求解方法。包括策略迭代和价值迭代。以及在免模型情况下，使用蒙特卡罗和TD方法解决的思想
2024-01-24 10:44:12
2410
原创 强化学习入门
本文介绍了强化学习基本概念和马尔可夫过程、马尔可夫奖励过程、马尔可夫决策过程的性质、奖励函数、回报、状态价值函数、Q函数以及其差别。
2024-01-18 00:03:56
1164
原创 用于图节点分类的标签传播系列算法
本节是CSW224第一部分的最后一节（semi-supervised node classification），用一部分已知标签的节点去预测剩下的未知标签的节点。注意：半监督与监督学习不同，这里将已经学到的模型泛化到上，仅仅是对原图的剩余节点进行分类，因为在学习模型时，原图的未知标签的节点也可能用于训练。这种被称为，与之相对应的是。对于图神经网络，是可以做到归纳式学习。
2023-02-27 17:48:30
1977
2
原创 机器学习-决策树
决策树系列算法介绍和实战，未完待续！决策树算法的大致流程如下：注：下图的数据集为后续操作的训练数据集特征是机器学习中自变量的别名。特征选择就是在一系列自变量中选择出对分类最有用的变量。特征选择是一个较大知识领域，主要目的是筛选出对项目目标有帮助的样本属性。在决策树中，特征选择有三大主流方法，分别是信息增益、增益率、基尼系数。其中信息增益和增益率都是由Quinlan创造的。参考西瓜书第十一章特征选择与稀疏学习信息增益参考文章随机事件x,发生概率的对数的相反数。或者随机事件x带给我们的信息量。用I(x)表示，单
2022-06-24 18:25:07
773
1
原创 机器学习模型评估指标和调用方法
回归模型的评估指标有平均绝对值误差、均方误差、均方根误差、R平方值、Huber损失、Log-Cosh损失函数。也称L1损失（MAE）是预测值与真实值之差的绝对值，计算公式如下：MAE=1n∑i=1n∣fi−yi∣=1n∑i=1neiMAE = \frac{1}{n}\sum_{i=1}^n{|f_i-y_i|}=\frac{1}{n}\sum_{i=1}^n{e_i}MAE=n1i=1∑n∣fi−yi∣=n1i=1∑nei以下是sklearn中调用MAE的示例代码：均方误差也称L2损
2022-06-03 15:21:10
1373
原创 PyTorch模型构建指南
在这里，我们引入神经网络块的概念。块(block)可以描述单个层或、多个层组成的组件或者整个模型本身。可以通过递归的方式将一些块组合成更大的组件。从编程的角度来看，块由类（class）表示。 它的任何子类都必须定义一个将其输入转换为输出的前向传播函数， 并且必须存储任何必需的参数。 注意，有些块不需要任何参数。 最后，为了计算梯度，块必须具有反向传播函数。 在定义我们自己的块时，由于自动微分（在 2.5节 中引入） 提供了一些后端实现，我们只需要考虑前向传播函数和必需的参数。在构造自定义块之前，我们先回顾一
2022-05-31 22:25:46
1963
1
原创 HDFS编程实践
接下来介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。在学习HDFS编程实践前，我们需要启动Hadoop。执行如下命令，开启 和 守护进程。启动时可能会有 WARN 提示 “WARN util.NativeCodeLoader…” 如前面提到的，这个提示不会影响正常使用。启动完成后，可以通过命令 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”Dat
2022-05-31 22:21:22
1994
原创 Paddle极简方案快速构建手写数字识别模型-V1
通过paddle paddle提供的基础API搭建一层神经网络，用于识别MNIST数据集，准确率25%，此为极简方案，目的是让同学们快速入手深度学习框架的使用。主要涉及数据处理、模型设计、训练和测试
2022-05-31 22:12:52
1551
2
原创 Git分布式版本管理系统前世今生
从版本管理系统的前世今生入手，进而介绍Git的起源和历史，结合参考文献资源的引用，特别是对Linux Torvalds的原文采访的引用。
2022-05-31 22:02:24
677
原创 机器学习-模型评估与选择
本文基于DataWhale集成学习第二章：机器学习基础内容和周志华老师的《机器学习》第二章模型评估与选择整合而来，主要介绍了模型评估与选择的目的、方法和步骤。其中训练误差和测试误差、偏差和方差的均衡介绍了有关测试误差的内在关联。估计测试误差介绍了直接估计和间接估计两种方法。在测试误差能够被合理的估计出来以后，我们做特征选择的目标就是：从p个特征中选择m个特征，使得对应的模型的测试误差的估计最小。介绍了最优子集选择和向前逐步选择。以及压缩估计（正则化）和降维（PCA）
2022-05-31 21:11:26
571
原创 generator、iterable、iterator傻傻分不清楚
本文重点介绍Python中生成器和迭代器的概念、源码实现。从generator引入，然后介绍iterable和iterator，包括Python3判断对象是否为可迭代的方法、判断对象是否为迭代器。
2021-11-26 19:06:35
930
原创 天池工业蒸汽量预测-模型调参
本文改编自《阿里云天池大赛赛题解析-机器学习篇》工业蒸汽量预测的模型调参。进行了部分素材的替换和知识点的归纳总结。新增了Datawhale8月集成学习中的网格搜索、随机搜索的内容
2021-10-19 17:54:37
662
原创 天池工业蒸汽量预测-模型验证
本文改编自《阿里云天池大赛赛题解析-机器学习篇》工业蒸汽量预测的模型验证。进行了部分素材的替换和知识点的归纳总结。新增了周志华-《机器学习》中的模型评估，以及Datawhale8月集成学习中的偏差与方差的均衡。新增了Lasso和岭回归的调用方法
2021-10-18 22:16:36
1024
原创 工业蒸汽量预测-模型训练
本文改编自《阿里云天池大赛赛题解析-机器学习篇》的第一部分工业蒸汽量预测的第四章-模型训练的内容。根据原有内容进行了部分素材的替换和知识点的归纳总结。sklearn模型训练步骤的总结，以及对线性回归、K近邻回归、树回归、随机森林和LightGBM回归的使用介绍
2021-10-14 11:01:35
1267
原创 工业蒸汽量预测-特征工程
本篇是《阿里云天池大赛赛题解析-机器学习篇》的第一部分工业蒸汽量预测的第三章-特征工程的内容，并附带了一些知识点的网页链接。内有数据预处理、特征降维等内容。
2021-10-09 20:47:36
1970
原创 Python的第三方库minepy安装解决方案
简要介绍了Python的第三方库minepy的基本信息、重点介绍在python和Anaconda中的安装过程，包括查询python对应的whl版本和pip的默认安装路径的选择
2021-10-04 22:23:01
18082
32
转载 机器学习基础-sklearn全流程实战
本文改编自Datawhale2021年8月集成学习，加入了一些自己的修改和注解。重点介绍了优化模型；训练均方误差与测试均方误差；偏差-方差的均衡；特征提取；压缩估计；降维
2021-08-31 21:55:45
860
1
同源策略详细介绍文档
2020-05-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人