Deep Crossing——经典的深度学习架构

别再死记硬背模型结构了!从Deep Crossing到DIEN,手把手拆解推荐系统经典模型的演进逻辑 本文深入解析了推荐系统从Deep Crossing到DIEN的经典模型演进逻辑,揭示了深度学习在推荐算法中的关键突破。通过分析特征工程自动化、记忆与泛化统一、注意力机制等核心技术,帮助开发者理解推荐系统的设计哲学与实战应用,提升模型选型与优化能力。 阅读详情


论文地址

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial


基本原理

利用“Embedding层+多隐层+输出层”的经典深度学习框架,预完成特征的自动深度交叉;

  • 优点:经典的深度学习推荐模型框架,特征间的“深度交叉”;
  • 缺点:利用全连接隐层进行特征交叉,针对性不强;

网络结构图

在这里插入图片描述


代码实现
import torch
import tqdm
import numpy as np
import pandas as pd
from torch import nn
from torch.utils import data
from collections import namedtuple
from sklearn.preprocessing import LabelEncoder
import argparse
from datetime import datetime

# 使用具名元组定义特征标记
SparseFeat = namedtuple('SparseFeat', ['name', 'vocabulary_size', 'embedding_dim'])
DenseFeat = namedtuple('DenseFeat', ['name', 'dimension'])


# 数据集
class Criteo(data.Dataset):
    def __init__(self, dense_features, sparse_features, labels):
        self.dense_features = dense_features
        self.sparse_features = sparse_features
        self.labels = labels

    def __len__(self):
        return len(self.labels)

    def __getitem__(self, idx):
        dense_features = self.dense_features.to_numpy()[idx]
        sparse_features = self.sparse_features.to_numpy()[idx]
        labels = self.labels.to_numpy()[idx]

        outs = [dense_features, sparse_features, labels]
        return outs


# 残差模块
class Residual_block(nn.Module):
    def __init__(self, dim_stack, hidden_unit):
        super(Residual_block, self).__init__()
        self.linear1 = nn.Linear(dim_stack, hidden_unit)
        self.linear2 = nn.Linear(hidden_unit, dim_stack)
        self.relu = nn.ReLU()

    def forward(self, x):
        orig_x = x.clone()
        x = self.linear1(x)
        x = self.linear2(x)
        out = self.relu(x + orig_x)
        return out


# 模型架构
class DeepCrossing(nn.Module):
    def __init__(self,
                 embedding_classes,
                 residual_block_num=3,
                 embedding_dim=4,
                 sparse_classes=26,
                 dense_classes=13,
                 hidden_unit=256):
        super(DeepCrossing, self).__init__()
        self.residual_block_num = residual_block_num
        self.embedding = nn.ModuleList([nn.Embedding(ec + 1, embedding_dim) for ec in embedding_classes])
        self.all_features_cat = embedding_dim * sparse_classes + dense_classes
        self.residual_block = nn.ModuleList(
            [Residual_block(self.all_features_cat, hidden_unit) for _ in range(self.residual_block_num)])
        self.last_linear = nn.Linear(self.all_features_cat, 1)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        dense_feature, sparse_feature, label = x[:]
        batch_features = None

        # 处理稀疏特征值
        sparse_features = []
        for sparse in sparse_feature:
            sfc = None
            for s, d in zip(sparse, self.embedding):
                out = d(s)
                if sfc == None:
                    sfc = out.unsqueeze(0)
                else:
                    sfc = torch.cat((sfc, out.unsqueeze(0)), 0)
            sparse_features.append(sfc.flatten())

        # 处理连续型特征(进行拼接)
        for df, sf in zip(dense_feature, sparse_features):
            if batch_features == None:
                batch_features = torch.cat((sf, df), 0).unsqueeze(0)
            else:
                batch_features = torch.cat((batch_features, torch.cat((sf, df), 0).unsqueeze(0)), 0)

        # 类型转换
        infer_data = batch_features.float()

        # forward
        for rb in self.residual_block:
            infer_data = rb(infer_data)
        out = self.last_linear(infer_data)
        out = self.sigmoid(out)

        return {"predicts": out, "labels": label}


# 获取到Embedding层的类别数
def cret_dataset_get_classes(data_root="../data/criteo_sample.txt", batch_size=4, shuffle=True, num_workers=0):
    # 读取数据
    data_df = pd.read_csv(data_root)
    # 划分dense和sparse特征
    columns = data_df.columns.values
    dense_features = [feat for feat in columns if 'I' in feat]
    sparse_features = [feat for feat in columns if 'C' in feat]

    # 将特征做标记
    dnn_feature_columns = [data_df[feat].nunique() for feat in sparse_features]

    data_df[dense_features] = data_df[dense_features].fillna(0.0)
    for f in dense_features:
        data_df[f] = data_df[f].apply(lambda x: np.log(x + 1) if x > -1 else -1)

    data_df[sparse_features] = data_df[sparse_features].fillna("-1")
    for f in sparse_features:
        lbe = LabelEncoder()
        data_df[f] = lbe.fit_transform(data_df[f])

    train_dataset = Criteo(data_df[dense_features], data_df[sparse_features], data_df["label"])
    train_loader = data.DataLoader(train_dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers)

    return train_loader, dnn_feature_columns, len(dense_features), len(sparse_features)


def train(config):
    train_loader, embedding_classes, df_nums, sf_nums = cret_dataset_get_classes(config.data_root, config.batch_size)
    # 初始化模型
    model = DeepCrossing(embedding_classes,
                         config.residual_block_num,
                         config.embedding_dim,
                         sparse_classes=sf_nums,
                         dense_classes=df_nums,
                         hidden_unit=config.hidden_unit)
    # 初始化损失函数
    loss_fn = nn.BCELoss()
    # 初始化优化器
    optimizer = torch.optim.Adam(model.parameters(), lr=config.lr)

    epoch = range(config.epoch)

    with tqdm.tqdm(
            iterable=epoch,
            bar_format='{desc} {n_fmt:>4s}/{total_fmt:<4s} {percentage:3.0f}%|{bar}| {postfix}'
    ) as t:
        for epc in epoch:
            start_time = datetime.now()
            losses = 0
            t.set_description_str(f"\33[36m【Epoch {epc + 1:04d}】")
            for batch in train_loader:
                out = model(batch)
                loss = loss_fn(out["predicts"].squeeze(1), out["labels"].float())
                # Backpropagation
                optimizer.zero_grad()
                loss.backward()
                optimizer.step()
                losses += loss.item()
            cur_time = datetime.now()
            delta_time = cur_time - start_time
            t.set_postfix_str(f"epoch_loss={losses:.7f}, 执行时长:{delta_time}\33[0m")
            t.update()


def test():
    pass


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Process some integers.')
    parser.add_argument('--data_root',
                        default="../data/criteo_sample.txt",
                        type=str,
                        help='an integer for the accumulator')
    parser.add_argument('--batch_size',
                        default=4,
                        type=int,
                        help='an integer for the accumulator')
    parser.add_argument('--lr',
                        default=1e-3,
                        type=float,
                        help='nothing')
    parser.add_argument('--epoch',
                        default=300,
                        type=int,
                        help='nothing')
    parser.add_argument('--residual_block_num',
                        default=3,
                        type=int,
                        help='nothing')
    parser.add_argument('--embedding_dim',
                        default=4,
                        type=int,
                        help='nothing')
    parser.add_argument('--hidden_unit',
                        default=256,
                        type=int,
                        help='nothing')
    config = parser.parse_args()
    train(config)


总结归纳
  • 特征分类

注意特征的分类,包括数值型特征与类别特征,在DC中会将类别特征编码,再经过Embedding操作,最后进行Flatten铺平与数值型特征Concat在一起,形成输入特征向量,即Stacking Layer。

  • 模型设计

需要先统计每个类别特征列上的类别数量,用于构建Pytorch网络中的Embedding层,此外需要构建残差模块,即Multiple Residual Layer。

  • 损失函数

经过残差层后的输出,输入到全连接层中得到1维的向量,再经过sigmoid函数预测CTR的概率,与GT的损失计算用BCE损失函数。


参考文献

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features
QUICKSTART——Pytorch
Fun-Rec


从Deep Crossing到DIEN:手把手拆解主流深度学习推荐模型(附代码示例) 本文深入解析从Deep Crossing到DIEN的主流深度学习推荐模型,提供详细的代码实现和架构分析。涵盖特征工程自动化、特征交叉演进、注意力机制等核心技术,帮助开发者掌握推荐算法的最新实践,提升推荐系统的效果与性能。 阅读详情

相关推荐

别再死记硬背模型结构了!从Deep Crossing到DIEN,手把手拆解推荐系统经典论文的演进逻辑

本文深入解析推荐系统从Deep Crossing到DIEN的技术演进,揭示深度学习如何推动推荐算法从特征工程到用户意图建模的跃迁。重点剖析了Wide & Deep、DIN、DIEN等经典模型的核心突破,帮助开发者掌握推荐系统的底层逻辑与实战应用,提升个性化推荐效果。

weixin_30367873的博客 379

深度学习推荐系统(二)Deep Crossing及其在Criteo数据集上的应用

深度学习推荐系统(二)Deep Crossing及其在Criteo数据集上的应用

qq_44665283的博客 1998

深度学习CTR模型最全演化图谱 [王喆观点]

毕业于清华大学计算机系的王喆学长回顾了近3年来的所有主流深度学习CTR (click through rate) 模型,并梳理推荐系统、计算广告领域在深度学习方面的前沿进展。内容来源:https://zhuanlan.zhihu.com/p/63186101 随着微软的Deep Crossing,Google的Wide&Deep,以及FNN,PNN等一大批优秀的深度学习CTR预估模型在2...

沈春旭的博客 7498

推荐算法实战项目:Deep Crossing 模型原理以及案例实战(附完整 Python 代码)

首先给出Deep Crossing的整体模型架构图,如下:Deep Crossing模型架构图模型的输入是一系列的独立特征,模型总共包含4层,分别是Embedding层、Stacking层、Residual Unit层、Scoring层,模型的输出是用户点击率预测值。注意上图中红色方框部分,输入特征没有经过Embedding层就直接连接到了Stacking层了。这是因为输入特征可能是稠密的也可能是稀疏的,论文中指出,对于维度小于256的特征直接连接到Stacking层。

机器学习社区 1860

深度学习推荐模型-DeepCrossing

深度学习推荐模型-DeepCrossing 背景 特征工程是绕不开的话题,巧妙的特征组合也许能够为模型带来质的提升。但同时,特征工程耗费的资源也是相当可观的,对于后期模型特征的维护、模型线上部署不太友好。2016年,微软提出Deep Crossing模型,旨在解决特征工程中特征组合的难题,降低人力特征组合的时间开销,通过模型自动学习特征的组合方式,也能达到不错的效果,且在各种任务中表现出较好的稳定性。 与之前介绍的FNN、PNN不同的是,Deep Crossing并没有采用显式交叉特征的方式,而是利用

专注大数据与人工智能技术分享,欢迎私信加群互相学习! 908

精通推荐算法4:经典DNN框架特征交叉模型 Deep Crossing

微软2016年提出的Deep Crossing模型奠定了深度学习精排模型的基本架构,具有十分重要的意义。它采用“Embedding + MLP”的结构,成为目前推荐算法的基本范式。通过深度神经网络,实现大规模特征自动组合,大大减少了对人工构造交叉组合特征的依赖和开销。同时将残差网络第一次落地到推荐算法中,优化深度学习反向传播梯度弥散和过拟合等问题。

谢杨易的博客 1454

Deep Crossing模型——经典的深度学习架构

1、前言 承上启下:由于AutoRec模型过于简单的网络结构会出现一些表达能力不足的问题,Deep Crossing模型完整地解决了从特征方程向量稠密化,多层神经网络进行优化目标拟合等一系列深度学习再推荐系统中的应用问题,为后续打下了良好的基础。 2、Deep Crossing的应用场景 Deep Crossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐场景。用户在搜索引擎中输入搜索词之后,搜索引擎除了会返回相关结果,还会返回与搜索词相关的广告。尽可能地增加搜索广告的点击率,准确地预测广告点击率

LitraLIN的博客 2826

AutoRec与 Deep Crossing - 推荐系统深度学习模型开篇

搜广推 AutoRec与 Deep Crossing - 推荐系统深度学习模型开篇

weixin_43646592的博客 782

[搜广推]深度学习推荐模型(2)——Deep Crossing 模型

如果说AutoRec模型是将深度学习的思想应用于推荐系统的初步尝试,那么DeepCrossing模型就是一次深度学习架构在推荐系统中的完整应用。AutoRec模型讲解详见Deep Crossing 模型是一种深度学习架构,用于解决推荐系统中的特征交叉问题。

m0_69281817的博客 1380

多层GBDT与深度学习结合的DEF模型解析

本文详细介绍了多层GBDT模型和Deep Embedding Forest(DEF)模型的原理和实现。多层GBDT结合了传统机器学习GBDT的高性能和深度学习的多层表示能力,而DEF模型则由Microsoft提出,将树模型的效率与深度学习的特征学习能力融合,为机器学习与深度学习的结合提供了新思路。

weixin_35973118的博客 367

告别Mumu!在Mac(M1/M2)上免费搭建Android Emulator的保姆级避坑指南

本文提供在Mac(M1/M2)上免费搭建高性能Android模拟器的详细指南,特别针对Apple Silicon芯片优化。通过使用Google官方的ARM原生模拟器,开发者可以获得3-5倍的性能提升,降低CPU占用,并避免x86转译的兼容性问题。文章涵盖从环境准备、工具安装到AVD创建与优化的全流程,帮助用户避开常见陷阱,实现接近原生性能的体验。

weixin_42531886的博客 601

Deep Crossing:深度交叉网络在推荐系统中的应用

Deep Crossing 通过 Residual Network 深度建模特征交互,避免了手工特征工程的复杂性,并在 CTR 预估等任务中表现优异。相比于传统神经网络,残差结构的加入有效缓解了梯度消失问题,使得深度学习在推荐系统领域取得更大突破。

Mike的博客 2780

Windows系统3D Gaussian Splatting环境搭建全攻略:从零开始到成功运行

本文详细介绍了在Windows系统上搭建3D Gaussian Splatting环境的完整流程,包括CUDA 12.6安装、Anaconda环境配置、代码获取与依赖安装等关键步骤。针对Windows平台特有的环境配置问题,提供了实用的解决方案和常见错误排查方法,帮助开发者快速实现3D Gaussian Splatting的成功运行。

weixin_30832143的博客 454

Deep Crossing

Deep Crossing是微软2016年提出的搜索广告点击率预测模型,开创了"Embedding+MLP"的推荐系统范式。其核心创新在于: 端到端自动特征交叉:通过多层神经网络自动学习特征组合,无需人工特征工程 引入残差连接:解决深层网络梯度消失问题 高维稀疏特征处理:采用Embedding降维和长尾共享策略 模型包含五层结构: Feature层输入原始特征 Embedding层将稀疏特征稠密化 Stacking层拼接所有特征 Multiple Residual Units层通过残差网络实现特征自动交叉

weixin_40398522的博客 271

别再浪费主板上的PCIE插槽了!手把手教你用VL805芯片打造高速USB3.0扩展坞

本文详细介绍了如何利用VL805芯片将主板闲置的PCIE插槽改造为高性能USB3.0扩展坞。从芯片选型、电路设计到焊接工艺和系统调试,提供了一套完整的实战指南,帮助用户充分释放硬件潜能,实现高达5Gbps的传输速度。

weixin_27134495的博客 330

innovus实战攻略 | 用setUsefulSkewMode解锁时序优化的“隐藏技能”!

就像时序优化的“瑞士军刀”,参数虽多,但掌握了分类逻辑后,用起来其实很简单!如果你有更绝的用法,欢迎在评论区分享,大家一起卷起来!简单来说,它就是时序优化的“乾坤大挪移”。通过调整触发器的时钟到达时间,把关键路径的建立时间“借”给非关键路径,从而实现全局时序收敛。别急,这个命令就是你的“时序救星”!(工具最多只能借1.2ns的裕量,防止“借过头”导致新问题!这个参数能帮你兜底!(对关键路径“下死手”,确保优化到位!(设置上限,给工具套上“紧箍咒”!(直接跳过边界,避免优化反噬!(全局管理,防止“借过头”!

weixin_50820814的博客 1361

推荐系统学习——经典深度学习方法

3.1 深度学习在推荐系统中的应用 1.AutoRec模型 利用协同过滤中的共现矩阵完成物品向量(用户向量)的自编码,利用自编码对于评分进行预测。 损失函数: minθ∑i=1n∥ri−h(ri;θ)∥o2+λ2(∥W∥F2+∥V∥F2) \underset{\theta}{min}\sum_{i=1}^n \parallel r^i - h(r^i;\theta) \parallel _o^2 + \frac{\lambda}{2}(\parallel W \parallel _F^2 + \paral

qq_37339433的博客 861

WSL2 Ubuntu复现FoundationPose项目(docker)

复现一个基于深度学习的物体姿态估计框架FoundationPose项目,使用docker,WSL2

woaidawangwang的博客 2004

推荐算法之AutoRec与Deep Crossing模型

前言 这一章节算是从传统的机器学习推荐模型转到深度学习的推荐模型中去了。在2016年, 随着微软的Deep Crossing, 谷歌的Wide&Deep以及FNN、PNN等一大批优秀的深度学习模型被提出, 推挤系统和计算广告领域全面进入了深度学习时代, 时至今日, 依然是主流。 在进入深度学习时代, 推荐模型主要有下面两个进展: 1、与传统的机器学习模型相比, 深度学习模型的表达能力更强, 能够挖掘更多数据中隐藏的模式 2、深度学习模型结构非常灵活, 能够根据业务场景和数据特点, 灵活调整模型结

qq_38375203的博客 1218

华为OD机试双机位C卷-热点网站统计 (Py/Java/C/C++/Js/Go)

华为OD机试双机位C卷 热点网站统计,提供C语言、Java、C++、Python、Go、JavaScript源码实现,并提供完整思路讲解。 华为od机考真题 - 热点网站统计。

qq_45776114的博客 780

5、数据库基础概念与数据建模全解析

本文深入解析了数据库的基础概念,包括函数依赖、决定因素和多值依赖等关键依赖关系,同时探讨了数据建模的重要方法论,如IDEF1X、信息工程和陈方法。此外,还介绍了SQL Server管理工作室的图表功能,帮助用户进行数据库的可视化设计。通过本文,读者将掌握数据库设计的核心知识,为构建高效、可扩展的数据库系统奠定基础。

81

深度学习推荐系统-DeepCrossing模型

一类是可以被处理成one-hot或者multi-hot向量的类别型特征,包括用户搜索词(query)、广告关键词(keyword)、广告标题(title)、落地页(landing page)、匹配类型(match type);一类是数值型特征,微软称其为计数型(counting)特征,包括点击率、预估点击率(click prediction);一类是需要进一步处理的特征,包括广告计划(campaign)、曝光样例(impression)、点击样例(click)等。

qq_33221657的博客 791

SAP 费用化采购订单简介

费用性采购的核心特点费用性采购的流程费用性采购的优势适用场景业务场景前台操作1、创建成本中心---KS012、创建采购订单---ME21N3、采购订单审批---ME29N4、采购订单收货---MIGO5、查看成本中心费用---S_ALR_870136116、控制费用化的采购订单自动带出科目和成本中心SAP费用性采购(Expense Procurement)指的是企业在采购过程中,直接将采购的物料或服务成本计入费用科目,而不是记入库存账户的采购行为。

我小时候很黑的博客 2016

《深度学习推荐系统》-阅读笔记

本文是《深度学习推荐系统》一书的阅读笔记和思维导图,建议大家入手一本王喆老师的新书,看完绝对会收获颇丰!一、互联网的增长引擎--推荐系统1、推荐系统的作用解决在信息过载的情况下,用户高效...

abcdefg90876的博客 3314

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

谷歌、阿里们的杀手锏:三大领域,十大深度学习CTR模型演化图谱

作者 |王喆来源 | 转载自知乎专栏王喆的机器学习笔记今天我们一起回顾一下近3年来的所有主流深度学习CTR模型,也是我工作之余的知识总结,希望能帮大家梳理推荐系统、计算...

AI科技大本营 2421

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

《深度学习推荐系统》读书笔记

深度学习与推荐系统一书的初次阅读与笔记

林宋的搬砖流水账 2667

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

上一篇: AutoRec——单隐层神经网络推荐系统
下一篇: NerualCF——CF与深度学习的结合
DeepLearningJay
博客等级 码龄7年 3064粉丝 25原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值