Learning to Rank实战:用ListNet和ListMLE优化电商搜索排序(附PyTorch代码)

Learning to Rank : ListNet与ListMLE Learning to Rank:list-wise models 阅读详情

Learning to Rank实战:用ListNet和ListMLE优化电商搜索排序(附PyTorch代码)

电商平台的搜索排序质量直接影响用户购买转化率。当用户搜索"无线耳机"时,如何将最相关、评价最好、销量最高的商品排在前面?传统基于关键词匹配的排序方法难以满足这一需求,而Learning to Rank(LTR)技术通过机器学习模型学习排序规则,能够显著提升搜索效果。本文将重点介绍两种list-wise排序算法——ListNet和ListMLE,并展示如何用PyTorch实现电商搜索排序优化。

1. 电商搜索排序的挑战与解决方案

电商搜索面临三大核心挑战:相关性(商品是否符合搜索意图)、商业价值(转化率、GMV等指标)、多样性(避免同质化商品霸屏)。传统BM25等算法仅考虑文本匹配度,而现代LTR技术能融合多维度特征:

# 典型电商搜索排序特征示例
features = {
    'text_match': 0.85,       # 文本匹配分数
    'ctr': 0.12,              # 点击率
    'conversion_rate': 0.05,  # 转化率
    'price': 299,             # 价格
    'sales_volume': 1500,     # 销量
    'review_score': 4.8       # 评价分
}

ListNet和ListMLE作为list-wise方法,相比point-wise(如回归模型)和pair-wise(如RankNet)方法具有独特优势:

方法类型代表算法优点缺点
Point-wise线性回归实现简单忽略物品间相对关系
Pair-wiseRankNet考虑两两比较计算复杂度高
List-wiseListNet/ListMLE优化整个列表排序实现复杂度较高

2. ListNet原理与电商实践

ListNet的核心思想是将排序问题转化为概率分布匹配问题。对于每个query的商品列表,计算每个商品排在首位的概率(Top1概率),然后最小化预测概率与真实概率的差异。

2.1 Top1概率计算

给定商品得分s_i,其Top1概率为:

P(i) = exp(s_i) / ∑exp(s_j)

这与softmax公式一致,因此PyTorch实现非常简洁:

import torch
import torch.nn.functional as F

def listnet_loss(y_pred, y_true):
    """
    y_pred: 预测得分 [batch_size, list_size]
    y_true: 真实得分 [batch_size, list_size]
    """
    p_pred = F.softmax(y_pred, dim=1)
    p_true = F.softmax(y_true, dim=1)
    return -torch.sum(p_true * torch.log(p_pred)) / y_pred.shape[0]

2.2 电商场景的特殊处理

电商数据往往存在以下特点需要特别处理:

  1. 位置偏差:排在前面的商品天然获得更多点击
  2. 数据稀疏:长尾query的样本量不足
  3. 多目标优化:需平衡相关性、GMV、多样性

解决方案示例:

# 位置偏差修正
def debias_click(click, position):
    return click / (0.15 + 0.1 * position)  # 假设位置衰减系数

3. ListMLE原理与高效实现

ListMLE采用更直接的方式——最大化真实排列的似然概率。其使用Plackett-Luce模型计算排列概率:

P(π|s) = ∏(exp(s_π(i)) / ∑exp(s_π(j)))

3.1 PyTorch实现

def listmle_loss(y_pred, y_true, k=None):
    """
    y_pred: 预测得分 [batch_size, list_size] 
    y_true: 真实得分 [batch_size, list_size]
    k: 可选,子列表长度
    """
    # 按真实标签降序排列
    _, indices = y_true.sort(descending=True, dim=1)
    
    # 重排预测得分
    pred_sorted = y_pred.gather(1, indices)
    
    # 计算cumsum
    cumsum = pred_sorted.exp().flip(1).cumsum(1).flip(1)
    
    # 计算损失
    loss = torch.log(cumsum + 1e-10) - pred_sorted
    
    return loss.sum(1).mean()

3.2 大规模数据优化技巧

当商品列表很长时(如>100),可以:

  1. 使用子采样(参数k)减少计算量
  2. 采用分块计算策略
  3. 使用log-sum-exp技巧提高数值稳定性
# 使用子采样的ListMLE
def sampled_listmle(y_pred, y_true, k=10):
    idx = torch.randperm(y_pred.size(1))[:k]
    return listmle_loss(y_pred[:,idx], y_true[:,idx])

4. 电商搜索排序全流程实现

4.1 数据准备

典型电商排序数据格式:

{
    "query": "无线耳机",
    "items": [
        {"features": [0.9, 0.1, 4.8, ...], "label": 4},
        {"features": [0.7, 0.2, 4.5, ...], "label": 3},
        ...
    ]
}

4.2 模型架构

import torch.nn as nn

class RankModel(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.fc = nn.Sequential(
            nn.Linear(input_dim, 64),
            nn.ReLU(),
            nn.Linear(64, 32),
            nn.ReLU(),
            nn.Linear(32, 1)  # 输出单个得分
        )
    
    def forward(self, x):
        return self.fc(x).squeeze(-1)

4.3 训练流程

model = RankModel(feature_dim)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

for epoch in range(100):
    for batch in dataloader:
        features, labels = batch
        scores = model(features)
        
        # 选择ListNet或ListMLE
        loss = listmle_loss(scores, labels)
        
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

4.4 效果评估

电商排序常用评估指标:

指标计算公式特点
NDCG@k考虑位置权重的累积增益最常用,k通常取5/10
MAP平均准确率适合二值相关性
MRR第一个相关结果的位置倒数强调首位准确性

实现示例:

def ndcg(scores, labels, k=10):
    _, rank_order = torch.sort(scores, descending=True)
    topk_labels = labels[rank_order[:k]]
    dcg = (topk_labels / torch.log2(torch.arange(k)+2)).sum()
    idcg = (labels.sort(descending=True)[0][:k] / torch.log2(torch.arange(k)+2)).sum()
    return dcg / idcg

5. 工业级优化技巧

在实际电商系统中,我们还需要考虑:

  1. 在线学习:实时更新模型适应数据分布变化

    # 增量更新示例
    for new_data in stream:
        loss = listmle_loss(model(new_data.features), new_data.labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    
  2. 多任务学习:同时优化点击率、转化率等指标

    class MultiTaskModel(nn.Module):
        def __init__(self):
            self.shared_layer = nn.Linear(128, 64)
            self.rank_head = nn.Linear(64, 1)
            self.ctr_head = nn.Linear(64, 1)
    
  3. 冷启动处理:对新商品使用内容相似度作为初始排序

  4. A/B测试框架:确保新模型上线不会降低核心指标

排序算法常用损失函数 listwise排序损失函数 阅读详情

相关推荐

LTR (Learning to Rank): 排序算法 poitwise, pairwise, listwise常见方案总结

目录1 类型1.1 poitwise1.2 pairwise1.3 listwise2 lamdarank2.1 原理2.2 tensorflow代码实现3 LambdaMART3.1 原理3.2 代码实现 1 类型 1.1 poitwise 1.2 pairwise 1.3 listwise tensorflow rank code 2 lamdarank 2.1 原理 https://zhuanlan.zhihu.com/p/270608987 2.2 tensorflow代码实现 3 LambdaMA

BGoodHabit的博客 6606

Learning to Rank入门小结 + 漫谈

Learning to Rank入门小结 Table of Contents 1 前言 2 LTR流程 3 训练数据的获取4 特征抽取 3.1 人工标注 3.2 搜索日志 3.3 公共数据集 5 模型训练 5.1 训练方法 5.1.1 Pointwise 5.1.2 Pairwise 5.1.3 Listwise ...

weixin_34399060的博客 545

Learning to Rank实战:ListNet vs ListMLE,哪种算法更适合你的推荐系统?

本文深入解析Learning to Rank中的ListNet和ListMLE算法,比较它们在推荐系统中的性能差异和适用场景。通过电商推荐和新闻feed流案例,帮助开发者选择最适合的排序算法,提升推荐效果。ListNet适合处理噪声数据,而ListMLE在精准排序上表现更优。

weixin_29192211的博客 298

几种listwise的loss实现

一、前言 本文实现的listwise loss目前应用于基于ListwWise的召回模型中,在召回中,一般分为用户侧和item侧,模型最终分别输出user_vector和item_vector,在pointwise模型中,这两个vector的shape都为(batch_size,dim),直接求两者的内积或余弦,然后过sigmoid,最后采用交叉熵获得loss进行反向传播。而在listwise模型中,item_vector的shape变为(batch_size,list_size,dim)....

程序认生 1万+

从RankNet到ListMLE:Learning to Rank算法演进全解析(含对比实验)

本文系统解析了Learning to Rank算法从RankNet到ListMLE的演进路径。通过对比实验,深入剖析了Point-wise、Pair-wise及List-wise方法的优劣,重点探讨了ListNet与ListMLE等List-wise算法如何直接优化列表级排序指标,并提供了在不同业务场景下的选型与实践建议。

weixin_29188997的博客 390

Learning to Rank : 从ListNet到ListMLE的演进与实践

本文深入探讨了Learning to Rank技术从ListNet到ListMLE的演进与实践。通过对比分析两种算法的核心原理与实现细节,揭示了ListNet在全局排序优化和ListMLE在直接排序优化上的优势。结合电商搜索、新闻推荐等实战案例,提供了基于数据量级、标注质量和业务目标的技术选型建议,帮助开发者高效解决排序问题。

weixin_30752699的博客 542

广告行业中那些趣事系列83:关于pairwise 和 listwise approach那些事

导读:本文是“数据拾光者”专栏的第八十三篇文章,这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本文主要调研了推荐系统中关于pairwise 和 listwise approach。欢迎转载,转载请注明出处以及链接,更多关于自然语言处理、推荐系统优质内容请关注如下频道。知乎专栏:数据拾光者公众号:数据拾光者01 排序学习框架1.1 排序学习的基本流程在信息检索中,对每一个给定的query-d...

abc50319的专栏 1229

Learning to ranking简介

Learning to ranking简介 目录 1前言... 1 2 LTR基本流程... 2 3 模型训练... 3 3.1排序类型... 3 3.1.1 Pointwise. 3 3.1.2 Pairwise. 4 3.1.3 Listwise. 5 3.2 排序算法分类... 6 4评价指标... 6 4.1 NDCG.. 7 4.2 MAP.

zhouge466152112的专栏 2267

【推荐】pairwise、pointwise 、 listwise算法是什么?怎么理解?主要区别是什么?

写在前面:写博客当成了学习笔记,容易找到去完善,不用于商业用途。通过各种途径网罗到知识汇总与此,如有侵权,请联系我,我下掉该内容~~ 1.搜索推荐中pairwise方法的适用性 参考: 1.https://mp.weixin.qq.com/s/IJ3x02KTW7NAocGb1sjRgg 2.https://segmentfault.com/a/1190000019370...

凝眸伏笔的博客 4万+

DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities

论文地址阅读论文参考资料:论文翻译https://blog.youkuaiyun.com/sinat_35188997/article/details/78180419总结

yimiyangguang1994的博客 2170

损失函数大汇总(二十九)(ListMLE Loss附公式推导与代码)

ListMLE 全称一般写作 **Listwise Maximum Likelihood Estimation Loss**。从名字就能看出来,它的核心是最大似然。

悦学共鸣,温柔以待,汇聚光芒,共同成长 178

【转】一个可供参考的搜索引擎排序架构实践案例

Ranking是搜索引擎的核心技术,本文以搜索引擎的Ranking技术为切入点,从搜索引擎架构、检索模型、机器学习算法、点击模型、搜索效果评估等方面将达观数据在搜索引擎Ranking的构建与优化过程中的一些实践经验与大家做分享。

星辰大海,脚踏实地 1579

ListWise 排序技术综述:从传统领域到大模型领域的跨越

在信息检索和推荐系统等领域,排序是一项至关重要的任务。传统的排序方法如 PointWise 和 PairWise 方法在处理复杂的排序场景时存在一定的局限性。ListWise 排序方法作为一种新兴的排序技术,逐渐受到了广泛的关注。它直接对整个文档列表进行建模和优化,能够更好地考虑文档之间的相对顺序以及列表的整体特征,从而在许多实际应用中取得了比传统方法更优的性能。近年来,随着大模型的兴起,ListWise 排序在大模型领域也展现出了巨大的应用潜力。

进一步有进一步的欢喜~ 1304

学习排序 Learning to Rank:从 pointwise 和 pairwise 到 listwise,经典模型与优缺点

Ranking 是信息检索领域的基本问题,也是搜索引擎背后的重要组成模块。本文将对结合机器学习的 ranking 技术——learning2rank——做个系统整理,包括 pointwise、pairwise、listwise 三大类型,它们的经典模型,解决了什么问题,仍存在什么缺陷。关于具体应用,可能会在下一篇文章介绍,包括在 QA 领域的实践情况。

TangowL 6万+

IE浏览器添加受信任站点配置指南与实战

在Internet Explorer浏览器中,自定义受信任站点的安全设置可以通过以下路径实现:打开浏览器,点击右上角“齿轮”图标 → 选择“Internet选项”。切换到“安全”选项卡。在“选择一个区域以查看该区域的安全设置”下,选择“受信任站点”。点击“自定义级别”按钮,进入详细的权限配置界面。如下图所示,用户可以在“安全设置 - 受信任站点区域”中逐项调整各类权限设置。graph TDA[打开浏览器] --> B[进入Internet选项]

weixin_42589700的博客 1198

位置感知ListMLE:用于排名的顺序学习过程

位置感知ListMLE:用于排名的顺序学习过程

从RankNet到ListMLE:Learning to Rank算法演进全解析(含最新论文解读)

本文深入解析了Learning to Rank(LTR)算法的演进历程,从RankNet到ListMLE,详细介绍了排序学习技术的三个阶段及其核心原理。重点探讨了List-wise方法如ListNet和ListMLE的优势,包括计算复杂度、概率解释和实际应用效果,并提供了前沿进展与工程实践建议,帮助开发者优化搜索引擎和推荐系统的排序质量。

rainy的博客 96

第 3 天:Actor 是什么?创建你的第一个游戏对象!

本文详细介绍 Actor 在 Unreal Engine 5 中的作用,并通过 C++ 创建你的第一个游戏对象。你将学习 Actor 的生命周期(BeginPlay、Tick)、如何添加组件(Static Mesh),并让 Actor 在游戏世界中运作。同时提供 常见问题解决方案,助你快速上手 UE5 C++ 开发!🎮 跟随本教程,构建属于你的第一个游戏对象!

m0_37643873的博客 2633
上一篇: 图解拉普拉斯矩阵:从热传导到图卷积的直观理解(附Python代码示例)
下一篇: Wine黑科技:在Linux给每个Windows应用创建独立沙盒(附微信/企业微信多开教程)
php55
博客等级 码龄15年 51粉丝 1553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值