Learning to Rank实战:用ListNet和ListMLE优化电商搜索排序(附PyTorch代码)
电商平台的搜索排序质量直接影响用户购买转化率。当用户搜索"无线耳机"时,如何将最相关、评价最好、销量最高的商品排在前面?传统基于关键词匹配的排序方法难以满足这一需求,而Learning to Rank(LTR)技术通过机器学习模型学习排序规则,能够显著提升搜索效果。本文将重点介绍两种list-wise排序算法——ListNet和ListMLE,并展示如何用PyTorch实现电商搜索排序优化。
1. 电商搜索排序的挑战与解决方案
电商搜索面临三大核心挑战:相关性(商品是否符合搜索意图)、商业价值(转化率、GMV等指标)、多样性(避免同质化商品霸屏)。传统BM25等算法仅考虑文本匹配度,而现代LTR技术能融合多维度特征:
# 典型电商搜索排序特征示例
features = {
'text_match': 0.85, # 文本匹配分数
'ctr': 0.12, # 点击率
'conversion_rate': 0.05, # 转化率
'price': 299, # 价格
'sales_volume': 1500, # 销量
'review_score': 4.8 # 评价分
}
ListNet和ListMLE作为list-wise方法,相比point-wise(如回归模型)和pair-wise(如RankNet)方法具有独特优势:
| 方法类型 | 代表算法 | 优点 | 缺点 |
|---|---|---|---|
| Point-wise | 线性回归 | 实现简单 | 忽略物品间相对关系 |
| Pair-wise | RankNet | 考虑两两比较 | 计算复杂度高 |
| List-wise | ListNet/ListMLE | 优化整个列表排序 | 实现复杂度较高 |
2. ListNet原理与电商实践
ListNet的核心思想是将排序问题转化为概率分布匹配问题。对于每个query的商品列表,计算每个商品排在首位的概率(Top1概率),然后最小化预测概率与真实概率的差异。
2.1 Top1概率计算
给定商品得分s_i,其Top1概率为:
P(i) = exp(s_i) / ∑exp(s_j)
这与softmax公式一致,因此PyTorch实现非常简洁:
import torch
import torch.nn.functional as F
def listnet_loss(y_pred, y_true):
"""
y_pred: 预测得分 [batch_size, list_size]
y_true: 真实得分 [batch_size, list_size]
"""
p_pred = F.softmax(y_pred, dim=1)
p_true = F.softmax(y_true, dim=1)
return -torch.sum(p_true * torch.log(p_pred)) / y_pred.shape[0]
2.2 电商场景的特殊处理
电商数据往往存在以下特点需要特别处理:
- 位置偏差:排在前面的商品天然获得更多点击
- 数据稀疏:长尾query的样本量不足
- 多目标优化:需平衡相关性、GMV、多样性
解决方案示例:
# 位置偏差修正
def debias_click(click, position):
return click / (0.15 + 0.1 * position) # 假设位置衰减系数
3. ListMLE原理与高效实现
ListMLE采用更直接的方式——最大化真实排列的似然概率。其使用Plackett-Luce模型计算排列概率:
P(π|s) = ∏(exp(s_π(i)) / ∑exp(s_π(j)))
3.1 PyTorch实现
def listmle_loss(y_pred, y_true, k=None):
"""
y_pred: 预测得分 [batch_size, list_size]
y_true: 真实得分 [batch_size, list_size]
k: 可选,子列表长度
"""
# 按真实标签降序排列
_, indices = y_true.sort(descending=True, dim=1)
# 重排预测得分
pred_sorted = y_pred.gather(1, indices)
# 计算cumsum
cumsum = pred_sorted.exp().flip(1).cumsum(1).flip(1)
# 计算损失
loss = torch.log(cumsum + 1e-10) - pred_sorted
return loss.sum(1).mean()
3.2 大规模数据优化技巧
当商品列表很长时(如>100),可以:
- 使用子采样(参数k)减少计算量
- 采用分块计算策略
- 使用log-sum-exp技巧提高数值稳定性
# 使用子采样的ListMLE
def sampled_listmle(y_pred, y_true, k=10):
idx = torch.randperm(y_pred.size(1))[:k]
return listmle_loss(y_pred[:,idx], y_true[:,idx])
4. 电商搜索排序全流程实现
4.1 数据准备
典型电商排序数据格式:
{
"query": "无线耳机",
"items": [
{"features": [0.9, 0.1, 4.8, ...], "label": 4},
{"features": [0.7, 0.2, 4.5, ...], "label": 3},
...
]
}
4.2 模型架构
import torch.nn as nn
class RankModel(nn.Module):
def __init__(self, input_dim):
super().__init__()
self.fc = nn.Sequential(
nn.Linear(input_dim, 64),
nn.ReLU(),
nn.Linear(64, 32),
nn.ReLU(),
nn.Linear(32, 1) # 输出单个得分
)
def forward(self, x):
return self.fc(x).squeeze(-1)
4.3 训练流程
model = RankModel(feature_dim)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
for epoch in range(100):
for batch in dataloader:
features, labels = batch
scores = model(features)
# 选择ListNet或ListMLE
loss = listmle_loss(scores, labels)
optimizer.zero_grad()
loss.backward()
optimizer.step()
4.4 效果评估
电商排序常用评估指标:
| 指标 | 计算公式 | 特点 |
|---|---|---|
| NDCG@k | 考虑位置权重的累积增益 | 最常用,k通常取5/10 |
| MAP | 平均准确率 | 适合二值相关性 |
| MRR | 第一个相关结果的位置倒数 | 强调首位准确性 |
实现示例:
def ndcg(scores, labels, k=10):
_, rank_order = torch.sort(scores, descending=True)
topk_labels = labels[rank_order[:k]]
dcg = (topk_labels / torch.log2(torch.arange(k)+2)).sum()
idcg = (labels.sort(descending=True)[0][:k] / torch.log2(torch.arange(k)+2)).sum()
return dcg / idcg
5. 工业级优化技巧
在实际电商系统中,我们还需要考虑:
-
在线学习:实时更新模型适应数据分布变化
# 增量更新示例 for new_data in stream: loss = listmle_loss(model(new_data.features), new_data.labels) optimizer.zero_grad() loss.backward() optimizer.step() -
多任务学习:同时优化点击率、转化率等指标
class MultiTaskModel(nn.Module): def __init__(self): self.shared_layer = nn.Linear(128, 64) self.rank_head = nn.Linear(64, 1) self.ctr_head = nn.Linear(64, 1) -
冷启动处理:对新商品使用内容相似度作为初始排序
-
A/B测试框架:确保新模型上线不会降低核心指标
6606



被折叠的 条评论
为什么被折叠?



