推荐算法学习笔记之DeepCrossing

最新推荐文章于 2022-08-27 13:00:22 发布

_骑虎少年_

最新推荐文章于 2022-08-27 13:00:22 发布

阅读量383

点赞数 1

分类专栏：推荐算法学习笔记文章标签： tensorflow 机器学习

本文链接：https://blog.youkuaiyun.com/clshishuaige/article/details/114887037

版权

本文介绍了DeepCrossing模型，它由微软提出，主要用于搜索引擎广告推荐，预测广告点击率。文章详细阐述了模型的四个核心层：Embedding层、Staking层、Multiple Residual Units层和Scoring层，并提供了TensorFlow实现的代码实操，包括数据集导入、模型搭建、训练及结果分析。最后进行了学习小结。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DeepCrossing简介

DeepCrossing于2016年由微软提出，主要应用于Bing搜索引擎中搜索广告推荐场景，用户在搜索引擎中输入搜索词后，搜索引擎除返回相关结果，还返回搜索词相应的广告，预测广告点击率（Click Through Rate）,并以此作为排序指标，是该模型的优化目标，下图为DeepCrossing的模型结构：

Layers及其各自的作用

1.Embedding层

该层的作用是将稀疏的类别型特征（如上图中的Feature#1）转换成稠密的Embedding向量，#Feature2中的数值型特征由于维度足够小，所以不需要Embedding。

2.Staking层

Staking层也被称为连接（concatenate）层，其作用是将不同的Embedding特征与数值型特征进行拼接，形成新的包含全部特征的特征向量。

3.Multiple Residual Units层

该层主要结构为多层感知机（MLP），DeepCrossing采用了多层残差网络作为MLP的实现方案，使特征向量各个维度充分交叉组合、模型能抓取更多非线性特征，从而提高模型的表达能力。
残差单元（Residual Unit）

4.Scoring层

Scoring层作为输出层，目的是为了拟合优化目标，对于CTR预估模型，往往是一个二分类问题，因此采用逻辑回归来对点击进行预测

TensorFlow代码实操

数据集导入

数据集

if __name__ == "__main__":
    # 读取数据
    data = pd.read_csv('./data/criteo_sample.txt')

    # 划分dense和sparse特征
    columns = data.columns.values
    dense_features = [feat for feat in columns if 'I' in feat]
    sparse_features = [feat for feat in columns if 'C' in feat]

    # 简单的数据预处理
    train_data = data_process(data, dense_features, sparse_features)
    train_data['label'] = data['label']

    # 将特征做标记
    dnn_feature_columns = [SparseFeat(feat, vocabulary_size=data[feat].nunique(),embedding_dim=4)
                            for feat in sparse_features] + [DenseFeat(feat, 1,)
                            for feat in dense_features]

模型搭建

# 构建DeepCrossing模型
    history = DeepCrossing(dnn_feature_columns)

    history.summary()
    history.compile(optimizer="adam", 
                loss="binary_crossentropy", 
                metrics=["binary_crossentropy", tf.keras.metrics.AUC(name='auc')])

    # 将输入数据转化成字典的形式输入
    train_model_input = {
   name: data[name] for name in dense_features + sparse_features}
    # 模型训练
    history.fit(train_model_input, train_data['label'].values,
            batch_size=64, epochs=5, validation_split=0.2, )

完整代码

import warnings
warnings.filterwarnings("ignore")
import itertools
import pandas as pd
import numpy as np
from tqdm import tqdm
from collections import namedtuple

import tensorflow as tf
from tensorflow import keras 
from tensorflow.keras.layers import *
from tensorflow.keras.models import *

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import  MinMaxScaler