Swift's Blog

原创 OneRec-V2解读

V2 的核心思路是"架构瘦身 + 奖励去代理化"——用 Lazy Decoder-Only 把计算效率拉到极致（全部花在 target decoding 上），用真实用户反馈信号替代纯代理奖励模型来引导 RL，同时用 GBPO 保证训练稳定性。最终在快手主 App 和极速版上相比 V1 获得了 App Stay Time +0.47%~0.74% 的额外提升，所有互动指标全面进步。但冷启视频曝光下降的问题仍然值得关注。

原创 OneRec-V1解读

OneRec通过端到端的生成式框架替代了传统的召回-排序的级联架构。在此系统学习下OneRec-V1。more。

原创 GRPO算法

维度PPO（经典 RLHF）模型数量优势来源Critic 价值估计组内相对比较显存占用大小（省一个 Critic）推理开销1×G×（组大小倍数）稳定性依赖 Critic 质量依赖 RM + G代表工作GRPO 用"同一 prompt 生成多个回答、组内互相比"替代了 Critic 的价值估计，省显存、更稳定、特别适合有明确对错标准的推理任务，代价是推理开销翻 G 倍。

原创 RLHF详解

Reward 模型只给最后一步一个标量rrr，注入偏好信号Reference 模型提供每步 KL 惩罚，防止 Actor 跑偏Critic的 loss 是均方误差，target 是AtVϕoldAt​Vϕold​​，让价值估计越来越准Actor的 loss 是 clip 后的策略梯度，用At\hat{A}_tAt​决定每个 token 该鼓励还是抑制总 lossc1c_1c1​c2c_2c2​× Entropy协作核心。

原创 训练越久，模型反而越会泛化吗？理解 Grokking 现象

Grokking 的典型过程可以分成两个阶段。模型训练过程不一定是从“不会”逐渐变成“会”，而可能先从“记住训练样本”开始，再经过很长时间的优化，转向“发现数据背后的规则”。因此，训练集准确率达到 100% 并不总意味着模型已经学会了任务。它可能只是找到了一个能够记忆训练数据的复杂解。如果任务背后存在明确、简单、可表达的规律，那么继续训练可能让模型逐渐偏向更简单、更统一的规则解，从而出现 Grokking。论文中的权重衰减和优化噪声实验，也说明正则化和优化路径可能帮助模型摆脱单纯的记忆。

原创 GAE推导

GAE(Generalized Advantage Estimation)的推导核心：把优势函数写成一系列TD误差的加权和，再用一个参数 λ\lambdaλ 去平衡偏差和方差。数学形式为：Aπ(st,at)=Qπ(st,at)−Vπ(st)A^\pi(s_t,a_t)=Q^\pi(s_t,a_t)-V^\pi(s_t)Aπ(st​,at​)=Qπ(st​,at​)−Vπ(st​)它表示：数学形式为：δt=rt+γV(st+1)−V(st)\delta_t = r_t + \gamma V(s_{t

原创 PPO算法

通过上面的例子可以看出，PPO的 ( \min ) 操作是一种极其精妙的防御机制对于好动作：它防止你因为过度自信（( r ) 太大）而过早陷入局部最优。对于坏动作：它确保你踩过的坑必须付出代价（( r ) 太大时受到严厉惩罚），但如果你已经改过自新（( r ) 变小了），它就给你留条活路，避免震荡。最终效果：你可以放心地把数据喂给模型，更新 ( K ) 个 Epochs（重复使用数据），而不用像传统算法那样担心模型突然“脑死亡”。这就是PPO成为工业界和学术界宠儿的根本原因。后记。

原创 tf.nn.sigmoid_cross_entropy_with_logits & tf.losses.log_loss

在训练模型的过程中，使用计算二分类loss，随着训练的深入，loss值为NaN，最终模型训练失败。排查下来发现是该函数存在数值不稳定的情况。more假设DNN模型输出的loggitsx，概率pσx，标签labely。

原创 自动驾驶L1~L5

自动驾驶的L1到L5分级，是目前全球最通用的标准，由国际汽车工程师学会（SAE International）制定，用来定义一辆车的“聪明”程度。

原创 市盈率PE介绍

PE（市盈率）每股股价（Price）每股收益 EPS（Earnings per Share）EPS（每股收益）普通股股东可享有的净利润发行在外普通股股数\text{PE（市盈率）} &= \frac{\text{每股股价（Price）}}{\text{每股收益 EPS（Earnings per Share）}} \\EPS（每股收益）&= \frac{普通股股东可享有的净利润}{发行在外普通股股数}PE（市盈率）EPS（每股收益）​每股收益EPS每股股价（

原创 excel两列数据绘制折线图

需求：给出两列数据，想绘制一个简单的折线图，第一列作为横轴，第二列作为纵轴。

原创 Hitrate介绍

Hit Rate 关注的是**“有没有”**，而不是“排第几”。场景：给定一个用户uuu，模型生成一个长度为KKK的推荐列表（Top-K List）。正样本：用户在测试集中实际产生过交互（如点击、购买）的物品集合GuG_uGu​命中 (Hit)：如果推荐列表中的任意一个物品出现在GuG_uGu​中，则记为一次 Hit（值为 1），否则为 0。计算方式：对所有测试用户取平均值。

原创 阅读一篇论文的整体流程

原创 On-policy VS Off-policy

此前对于rl的这两个概念一直很模糊，在此整理一下。more如果行为策略与目标策略一致，则是on-policy，否则为off-policy。下面将以两个经典算法为例介绍on-policy、off-policy区别。

原创 AIGB：用扩散模型颠覆传统自动出价范式

这是阿里巴巴在广告自动出价的一篇工作，用扩散模型颠覆了传统深度rl出价的范式，取得了线上线下的巨大收益。在广告竞价中，广告主需要在有限预算下，为每个展示机会出价，最大化总价值：maximizeoi∑ioivis.t.∑ioici≤B∑icijoi∑ipijoi≤Cj,∀joi∈{0,1},∀i\begin{aligned}\underset{o_i}{\text{maximize}} & \sum_i o_i v_i \\\text{s.t.} & \sum_i o_i c_i \leq B \\&

原创 MFU介绍

MFU 表示模型在实际运行中有效利用的浮点运算比例MFU实际执行的有效 FLOPs/s硬件理论峰值 FLOPs/s\text{MFU} = \frac{\text{实际执行的有效 FLOPs/s}}{\text{硬件理论峰值 FLOPs/s}}MFU硬件理论峰值FLOPs/s实际执行的有效FLOPs/s​分子：模型在一次前向/反向传播中真正执行的浮点运算量（通常可由模型结构精确计算，如矩阵乘法次数）除以实际耗时。分母。

原创 毫米波雷达&激光雷达

毫米波雷达是**“务实的功能性传感器”**，性价比高，全天候可靠，尤其擅长测速。激光雷达是**“精确的建模型传感器”**，能构建高精地图，是高级别自动驾驶的“眼睛”，但成本高且受天气制约。它们是智能系统感知世界的两种互补技术，共同确保了车辆或机器人在复杂环境下的安全运行。

原创 EOM公式推导

在uplift建模中，除了AUUC、QINI指标，还有EOM。它是基于离线RCT模拟评估在线业务收益的指标，EOM越高，业务收益越高。根据概率论中对随机变量乘积期望的定义，两个指示函数。是该treatment的样本分布占比，在RCT样本中，用户被分配到干预组。表示运筹出一张券面额，如果实发面额。表示IPW，从而避免样本不均的影响。具有线性性，因此我们可以将期望。，这样即可模拟出在线业务收益。利用全期望定律，将期望写成。的过程是独立于用户的特征。在营销场景的在线运筹中，记录下EOM的公式推导。

原创 图像生成评估指标IS&FID

指标思想优点缺点IS用 KL 散度衡量单图置信度与整体多样性简单、计算快依赖 Inception，不能直接衡量与真实分布的差距FID在特征空间拟合高斯，计算两分布差异更符合人类感知，能比较生成与真实数据需要更多样本，假设近似可能偏差IS 高 → 图像清晰且类别多样FID 低 → 生成分布接近真实分布。

原创 ε-greedy策略

是强化学习中最重要、最基础的概念之一，它完美地解决了与之间的权衡问题。ε-greedy策略的流程如下：fill:#333;color:#333;color:#333;fill:none;是否开始生成一个随机数0<=rand<=1rand<ε?进行探索:完全随机选择一个动作进行利用:选择当前Q值最高的动作更新状态和Q值。

原创 Q-Learning中的Q值和奖励R

为什么不用奖励R作为当前Q值，这里解释一下。more。

原创 馈电油耗讲解

馈电油耗：指在车辆电池电量消耗殆尽（进入电量维持模式）后，汽车仅依靠发动机+能量回收（刹车发电）工作时的百公里油耗。插电混动在电量充足时，主要靠电驱动，油耗很低甚至为零。但当电池电量降到设定的最低SOC（荷电状态）后，车辆必须依赖发动机驱动，同时少量用电机辅助。这时的油耗，就是馈电油耗。馈电油耗 = 插混车没电之后当作燃油车开时的百公里油耗。

原创 股市指数点位计算逻辑

以沪深300指数点位的计算方式为例：more。

原创 法拉第笼原理

比亚迪汽车遭遇三次雷击后，车身仍然保持完好无损，内部系统正常运转，乘客平安无事，这是由于法拉第笼()原理造成的。more。

原创 Enhancing CTR Prediction with De-correlated Expert Networks

本文探索了专家网络的差异性对模型性能的影响，本质上是种bagging思想，从各个语义空间上提升模型的表达能力。more。

原创 模型预估打分对运筹跟踪的影响

在uplift建模中，模型离线指标(QINI、AUUC)提升并不意味着在线A/B实验的收益，因为在线运筹还需要λ约束。如果模型打分不满足单调增且roi边际递减，那么λ运筹求解会非常不稳定，导致线上发券偏高，毛利无法兜住。more下面用。

原创 生成式召回-TIGER范式

TIGER是第一篇将Generative Retrieval 自回归生成方式应用于推荐系统的工作；它通过Semantic ID 和 Seq2Seq Transformer，突破embedding + ANN的传统限制；在冷启动、多样性、效率和泛化能力上展现强优势；适用于大规模推荐场景，尤其是content-rich、item海量、频繁上线新品的平台。

原创 codebook简史

一文详解 codebook 技术史（从 VAE 到 VQ/RQ-VAE 到 FSQ）

原创 离线运筹求解流程

基于，概述一下如何用二分搜索来运筹求解λ。more原问题∑i​maxj​pij​−λcij​是一个求解λ最优值的线性规划问题，其目标是找到使得目标函数最大化的λ。我们可以使用二分搜索来求解。

原创 扭矩&马力

马力和扭矩是衡量发动机性能的两个核心指标，但它们的物理意义和对车辆性能的影响截然不同。家用车马力适中（如150PS）兼顾油耗。（超1,000PS）维持极速。

原创 FLOPS、FLOP/s、TOPS概念

这个模型需要 1 TFLOP/s 的计算量，GPU 的峰值性能是 10 TFLOPS”是常见的术语，但它们有明确的区别和应用场景。“这个模型需要 1 TFLOPS”在计算性能和硬件指标中，

原创 光锥Light Cone

光锥是以某个事件为顶点，以光速传播形成的时空区域边界。设想一个时空中的事件EEE未来光锥（Future Light Cone）是从事件EEE向未来扩展的所有可能被你这次响指影响到的事件区域（以光速或更慢传播）。过去光锥（Past Light Cone）是能影响你打响指的这个事件的所有过去事件区域（信号从它们出发，以光速或更慢速度传到你这里）。光锥外部（Elsewhere）是那些你无法影响，也无法影响你的事件。因为它们之间的传播所需速度超过光速，不符合因果律。

原创 三体问题详解

从物理学角度，三体问题之所以不稳定，是因为三个天体在万有引力作用下相互作用，形成一个非线性耦合系统。我们可以从牛顿经典力学出发，列出具体的运动方程，并说明为何这个系统本质上是混沌的，无法得到一般解析解。more。

原创 对数正态分布LogNormal

分母的xxx是数学推导的必然结果，源于概率密度变换的雅可比行列式。它保证了fXxf_X(x)fX​x是一个合法的概率密度函数（积分为1）。若替换为ln⁡x\ln xlnx，会破坏分布的正确性。

原创 Zero-Inflated Log-Normal Loss

more针对这种数据分布，Google提出了ZILN Loss，用于更真实地拟合这类零膨胀、长尾的数据。LTV建模如下两个任务：用户是否付费、付多少费，分别对应上述两个问题。μσ​L​1x0​;

原创 Shared-Bottom & MoE & MMoE

Shared-Bottom、MoE、MMoE的结构对比如下：more。

原创 斯诺克术语

恭喜赵心童夺得世锦赛冠军！

原创 策略梯度与Q-Learning的区别

策略梯度（Policy Gradient, PG）是强化学习中的一类直接优化策略的方法，通过梯度上升（Gradient Ascent）更新策略参数，以最大化期望回报。与Q-Learning等基于值函数的方法不同，PG直接对策略πθa∣sπθ​a∣s（参数为θ\thetaθ）进行优化，适用于连续动作空间或随机策略的场景。离散动作：策略网络输出离散动作的概率分布（如Softmax）。连续动作：策略网络输出高斯分布的参数（μσμσ），通过采样得到连续值。∇θJθE。

原创 线性代数-矩阵的秩

矩阵的秩本质上是其行或列向量的独立信息量的度量，决定了矩阵在变换中的“自由度”。理解秩有助于分析方程组、空间变换以及矩阵的稳定性等问题。

原创 赛睿鼠标设置宏

鼠标宏是一种​​自动化脚本​​，用于记录并重复执行一系列鼠标操作（如点击、移动、滚轮滚动等），以提高操作效率或实现复杂操作。它通常用于​​游戏、办公自动化、设计​​等领域。记录一下赛睿鼠标的宏设置。点击打开编辑器，然后点击启动，就开始录制按键。如果想关闭宏命令，则重新选择默认即可。选择按键之间无延迟，即可快速输入。选择要绑定宏命令的按键，这里以。保存并启动该宏命令。键可以看到自动化输入。