【每周一文】Ad Click Prediction: a View from the Trenches(2013)

关注

原创最新推荐文章于 2026-06-22 10:58:49 发布 8k 阅读 AI 写同款· GEO 优化 ›

AdPredictor引发的一系列故事 adpredictor、true-skill推导、lda推导、变分em、期望传播、高斯卷积、高斯乘除、指数族分布、kl距离、置信传播、sum-product算法阅读详情

概述

该文是GoogleFTRL在点击率模型上的应用，从技术实现的角度介绍了在线学习算法FTRL的工程实现，并且给出一些内存优化、特征选择等工程细节。从此FTRL算法才大规模推广使用。
该笔记主要介绍一下几类在线学习算法的思路以及FTRL实现细节以及工程上技巧。

问题

点击率预估问题（CTR）是计算广告中非常重要的模块，预估一个用户对广告的点击概率，从而提升广告效果。
LR模型时CTR问题中最经典的模型，而LR模型训练也是无约束最优化问题中经典案例。因此问题最终归约为如何有效优化LR模型；同时还需要考虑模型稀疏性，模型稀疏性可能会和训练数据不足、模型复杂度过高相关，也是控制过拟合的有效手段。
LR模型需要解决问题是

样 本 为 正 例 的 概 率 表 示 为 p t = σ (w t, x t) σ (a) = 1 / (1 + e x p (- a)) 对 应 的 l o g 损 失 函 数 为 l (w t) = - y t l o g p t - (1 - y t) l o g (1 - p t)

$样本为正例的概率表示为p_t=\sigma(w_t,x_t) \\ \sigma(a)=1/(1+exp(-a)) \\ 对应的log损失函数为 l(w_t)=-y_tlogp_t-(1-y_t)log(1-p_t)$

求解方案

批量算法

求解该类问题最经典的算法是GD（梯度下降法也称最速下降法），即沿着梯度方法逐渐优化模型参数。
梯度下降法能够保证精度，要想预防过拟合问题一般会加上正则项，L1或者L2正则。
L1相对于L2正则能够产生更稀疏的参数（为什么？）

在线优化算法

相比于批量GD算法，OGD能够利用实时产生的正负样本，一定程度上能够优化模型效果。
在线优化算法需要特殊关注模型鲁棒性和稀疏性，由于样本是一个一个到来，默写参数可能因为训练样本不足导致过拟合等。因此OGD会着重处理模型稀疏性。

L1正则法

对于L1正则，模型权重更新方式为

W t + 1 = W t - η t G t - η t λ s g n (w t)

$W^{t+1}=W^t-\eta^tG^t-\eta^t\lambda sgn(w^t)$
模型稀疏控制参数

λ $\lambda$ 会将接近0的参数趋近于0.

简单截断法

相对于L1正则属于比较暴力的解决方案，直接将不满足阈值的系数设置为0.
以k为窗口，如果t/k不为整数时采用标准的SGD进行优化，否则采用如下方法

W t + 1 = T 0 (W t - η t G t, θ) T 0 (v i, θ) = {0, v i, if | v i | \leq θ others

$W^{t+1}=T_0(W^t-\eta^tG^t, \theta) \\T_0(v_i,\theta) = \begin{cases} 0, & \text{if $|v_i| \le \theta$ } \\ v_i, & \text{others} \end{cases}$
通过参数

θ $\theta$ 控制模型稀疏性。

梯度截断法（TG）

简单截断法比较暴力，不够优雅，因此提出改进思路。

W t + 1 = T 1 (W t - η t G t, η t λ t, θ) T 1 (v i, α, θ) = ⎧ ⎩ ⎨ ⎪ ⎪ max (0, v i - α), min (0, v i + α), v i, if v i \in [0, θ] if v i \in [- θ, 0] others

$W^{t+1}=T_1(W^t-\eta^tG^t, \eta^t \lambda^t,\theta) \\T_1(v_i,\alpha, \theta) = \begin{cases} \max(0, v_i-\alpha), & \text{if $v_i \in [0, \theta]$ } \\ \min(0, v_i+\alpha), & \text{if $v_i \in [-\theta,0]$} \\ v_i, & \text{others} \end{cases}$ 参数

λ 和θ $\lambda\ 和\theta$ 控制模型稀疏，值越大越稀疏。
TG和简单截断法的区别在于
这里写图片描述

注：可以将T1算法按照每一维度进行展开，则L1和简单截断法都是该策略的特殊case。

FOBOS算法

该算法又称为前后项算法，其权重的更新方式分为两个部分

W (t + 1 / 2) = W t - η t G t W t + 1 = a r g m i n 1 2 | | W - W t + 1 / 2 | | 2 + η t + 1 / 2 Ψ (W)

$W^{(t+1/2)}=W^t-\eta^tG^t \\ W^{t+1}=argmin\frac12||W-W^{t+1/2}||^2+\eta^{t+1/2}\Psi(W)$ 权重更新分为两个部分，第一步先进行一步标准的梯度下降；然后对结果进行微调，即满足最速下降又保证了一定的稀疏性。
其中

Ψ(W) $\Psi(W)$ 是正则项可以对权重进行约束，常用的选择为L1，则对应的方法为L1-FOBOS

RDA算法

RDA（正则对偶平均）是微软的研究成果，其权重更新策略为

W t + 1 = a r g m i n 1 t \sum r = 1 t < G t, W > + Ψ (W) + β t t h (W)

$W^{t+1}=argmin\frac1t\sum_{r=1}^t<G^t, W>+\Psi(W)+\frac{\beta^t}{t}h(W)$ 权重更新包括三个部分第一部分线性加权，即对历史梯度进行加权平均；第二部分正则项部分对特征进行稀疏化；第三部分严格递增序列相当于额外的正则项。
实验证明该方法能够产生较好的稀疏和精度。

FTRL

FTRL是Google提出的在线算法，由于其在工程实现上进行了大量优化，在工业界应用非常广泛。

权重更新策略

FTRL更新策略为

w t + 1 = a r g m i n (g 1 : t w + 1 2 \sum s = 1 t σ s | | w - w s | | 2 + λ 1 | | w | | + 1 2 λ 2 | | w | | 2)

$w_{t+1}=argmin(g_{1:t}w+\frac12\sum_{s=1}^t\sigma_s||w-w_s||^2+\lambda_1||w||+\frac12 \lambda_2||w||^2)$
其中

g1:t=∑ts=1gt $g_{1:t}=\sum_{s=1}^tg_t$ ,相当于新产生的权重验证所有样本的梯度并且和历史权重不偏离太远。最后通过L1正则进行稀疏性约束。这样既保证了权重更新的精度有保证了稀疏性。
另外参数

σs $\sigma_s$ 是一个和学习率相关参数

∑ts=1σs=1ηt $\sum_{s=1}^t \sigma_s=\frac1 \eta_t$ ；

而ηt=1t√,非增序列 $而\eta_t=\frac 1{\sqrt{t}}, 非增序列$

公式推导

上面的公式看起来比较复杂，将其展开可以得到

F (w) = g 1 : t w + 1 2 \sum s = 1 t σ s | | w - w s | | 2 + λ 1 | | w | | + 1 2 λ 2 | | w | | 2 = g 1 : t w + 1 2 \sum s = 1 t σ s (w T w - 2 w T w s + w T s w s) + λ 1 | | w | | + 1 2 λ 2 | | w | | 2 = (g 1 : t - \sum s = 1 t σ s w s) w + 1 2 (\sum s = 1 t σ s + λ 2) w T w + λ 1 | | w | | + c o n s t = z T t w + 1 2 (1 η t + λ 2) w T w + λ 1 | | w | | + c o n s t

$F(w)=g_{1:t}w+\frac12\sum_{s=1}^t\sigma_s||w-w_s||^2+\lambda_1||w||+\frac12 \lambda_2||w||^2 \\ =g_{1:t}w+\frac12\sum_{s=1}^t\sigma_s(w^Tw-2w^Tw_s+w_s^Tw_s)+\lambda_1||w||+\frac12 \lambda_2||w||^2 \\ =(g_{1:t}-\sum_{s=1}^t\sigma_s w_s) w+\frac12(\sum_{s=1}^t\sigma_s+\lambda_2)w^Tw+\lambda_1||w||+const \\ =z_t^T w+\frac12(\frac 1 \eta_t+\lambda_2)w^Tw+\lambda_1||w||+const$
其中

zt−1=g1:t−1−∑t−1s=1σsws，根据定义可以得到zt−1=zt−1+gt−(1ηt−1ηt−1)wt $z_{t-1}=g_{1:t-1}-\sum_{s=1}^{t-1}\sigma_s w_s，根据定义可以得到z_{t-1}=z_{t-1}+g_t-(\frac 1\eta_t-\frac 1\eta_{t-1})w_t$
对上式进行求导可以得到

z t + (1 η t + λ 2) w + λ 1 \partial | W | = 0

$z_t+(\frac 1 \eta_t+\lambda_2)w+\lambda_1 \partial|W|=0$
从上式中可以容易得到w和z必须是异号，否则等式不能成立。
因此根据L1正则的次导数和梯度公式，讨论如下。

\partial | W | = ⎧ ⎩ ⎨ ⎪ ⎪ 0, 1, - 1, if - 1 < w < 1 if w > 1 if w < - 1

$\partial |W| = \begin{cases} 0, & \text{if $-1<w<1$ } \\ 1, & \text{if $w>1$ } \\ -1 , & \text{if $w<-1$} \end{cases}$

当 $|z_{t_i}|<\lambda_1$ 时
w_i > 0，则有 $w=\frac{-z_i-\lambda_1}{\frac 1 \eta_t+\lambda_2} < 0$ 不成立
w_i < 0，则有 $w=\frac{-z_i+\lambda_1}{\frac 1 \eta_t+\lambda_2} > 0$ 不成立
w_i=0
当 $z_t>\lambda_1$ 时
由于两者必须异号，此时有w_i < 0
$w=\frac{-z_i+\lambda_1}{\frac 1 \eta_t+\lambda_2}$
当 $z_t<-\lambda_1$ 时同理 $w=\frac{-z_i-\lambda_1}{\frac 1 \eta_t+\lambda_2}$
因此有 $w i = ⎧ ⎩ ⎨ ⎪ ⎪ 0, - ( z i - s g n ( z i ) λ 1 ) 1 η t + λ 2, if | z i | \leq λ 1 if o t h e r s$ $w_i = \begin{cases} 0, & \text{if $|z_i| \le \lambda_1$ } \\ \frac{-(z_i-sgn(z_i)\lambda_1)}{\frac 1 \eta_t+\lambda_2}, & \text{if $others$ } \end{cases}$

工程优化

各个维度采用不同的学习率 $\eta_{t_i}=\frac {\alpha}{\beta+\sqrt \sum_{s=1}^tg^2_{s_i}}$
稀疏特征处理，Possion Inclusion（通过一定概率扔掉特征）、BloomFilter Iclusion（通过碰撞优化特征）
浮点数重新编码
训练多个模型，采用不同参数。但是采用相同特征进行存储，特征更新采用加权平均方式进行更新。比较类似于异步梯度下降法
学习率更新优化 $\sum g_{1:t}^2=\frac{PN}{P+N}$ 通过正负样本个数进行优化
对于CTR模型，负样本数量特别多，考虑采用负样本采样，假设采样概率为r，此时相当于每个样本都有了权重w_t（正样本权重为1，负样本权重为1/r），同时相当于梯度也会乘上该系数，不会改变最终的损失。 $El(w_t)=s_tw_tl(w_t)+(1-s_t)0=l(w_t)，其中s_t=1/w_t为该样本被选中的概率$