推荐算法:DeepCrossing模型

最新推荐文章于 2022-03-24 17:06:27 发布
最新推荐文章于 2022-03-24 17:06:27 发布
阅读量280 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 推荐算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DDxuexi/article/details/115414176

res_DeepCrossing模型

DeepCrossing

4. 代码实现

# 导包
import warnings
warnings.filterwarnings("ignore")
import pandas as pd
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import *
from sklearn.preprocessing import  MinMaxScaler, LabelEncoder
# from utils import SparseFeat, DenseFeat, VarLenSparseFeat

# from collections import namedtuple

# # 使用具名元组定义特征标记
# SparseFeat = namedtuple('SparseFeat', ['name', 'vocabulary_size', 'embedding_dim'])
# DenseFeat = namedtuple('DenseFeat', ['name', 'dimension'])
# VarLenSparseFeat = namedtuple('VarLenSparseFeat', ['name', 'vocabulary_size', 'embedding_dim', 'maxlen'])

1.读取并处理数据

  • 读取数据
  • 划分出数值型特征和类别型特征
  • 数值型特征处理 – 控制填充,取对数(归一化?)
  • 类别型特征的处理 – one-hot编码
# 读取数据
data = pd.read_csv('./data/criteo_sample.txt')

data.head()
label I1 I2 I3 I4 I5 I6 I7 I8 I9 ... C17 C18 C19 C20 C21 C22 C23 C24 C25 C26
0 0 NaN 3 260.0 NaN 17668.0 NaN NaN 33.0 NaN ... e5ba7672 87c6f83c NaN NaN 0429f84b NaN 3a171ecb c0d61a5c NaN NaN
1 0 NaN -1 19.0 35.0 30251.0 247.0 1.0 35.0 160.0 ... d4bb7bd8 6fc84bfb NaN NaN 5155d8a3 NaN be7c41b4 ded4aac9 NaN NaN
2 0 0.0 0 2.0 12.0 2013.0 164.0 6.0 35.0 523.0 ... e5ba7672 675c9258 NaN NaN 2e01979f NaN bcdee96c 6d5d1302 NaN NaN
3 0 NaN 13 1.0 4.0 16836.0 200.0 5.0 4.0 29.0 ... e5ba7672 52e44668 NaN NaN e587c466 NaN 32c7478e 3b183c5c NaN NaN
4 0 0.0 0 104.0 27.0 1990.0 142.0 4.0 32.0 37.0 ... e5ba7672 25c88e42 21ddcdc9 b1252a9d 0e8585d2 NaN 32c7478e 0d4a6d1a 001f3601 92c878de

5 rows × 40 columns

data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 200 entries, 0 to 199
Data columns (total 40 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   label   200 non-null    int64  
 1   I1      110 non-null    float64
 2   I2      200 non-null    int64  
 3   I3      166 non-null    float64
 4   I4      165 non-null    float64
 5   I5      194 non-null    float64
 6   I6      149 non-null    float64
 7   I7      190 non-null    float64
 8   I8      200 non-null    float64
 9   I9      190 non-null    float64
 10  I10     110 non-null    float64
 11  I11     190 non-null    float64
 12  I12     43 non-null     float64
 13  I13     165 non-null    float64
 14  C1      200 non-null    object 
 15  C2      200 non-null    object 
 16  C3      191 non-null    object 
 17  C4      191 non-null    object 
 18  C5      200 non-null    object 
 19  C6      168 non-null    object 
 20  C7      200 non-null    object 
 21  C8      200 non-null    object 
 22  C9      200 non-null    object 
 23  C10     200 non-null    object 
 24  C11     200 non-null    object 
 25  C12     191 non-null    object 
 26  C13     200 non-null    object 
 27  C14     200 non-null    object 
 28  C15     200 non-null    object 
 29  C16     191 non-null    object 
 30  C17     200 non-null    object 
 31  C18     200 non-null    object 
 32  C19     118 non-null    object 
 33  C20     118 non-null    object 
 34  C21     191 non-null    object 
 35  C22     41 non-null     object 
 36  C23     200 non-null    object 
 37  C24     191 non-null    object 
 38  C25     118 non-null    object 
 39  C26     118 non-null    object 
dtypes: float64(12), int64(2), object(26)
memory usage: 62.6+ KB

# 将数据划分为sparse_feature和dense_feature
columns = data.columns.values
columns

array(['label', 'I1', 'I2', 'I3', 'I4', 'I5', 'I6', 'I7', 'I8', 'I9',
       'I10', 'I11', 'I12', 'I13', 'C1', 'C2', 'C3', 'C4', 'C5', 'C6',
       'C7', 'C8', 'C9', 'C10', 'C11', 'C12', 'C13', 'C14', 'C15', 'C16',
       'C17', 'C18', 'C19', 'C20', 'C21', 'C22', 'C23', 'C24', 'C25',
       'C26'], dtype=object)

dense_features = [ feat for feat in columns if 'I' in feat]
sparse_features = [feat for feat in columns if 'C' in feat]

dense_features+sparse_features # 列表可以相加

['I1',
 'I2',
 'I3',
 'I4',
 'I5',
 'I6',
 'I7',
 'I8',
 'I9',
 'I10',
 'I11',
 'I12',
 'I13',
 'C1',
 'C2',
 'C3',
 'C4',
 'C5',
 'C6',
 'C7',
 'C8',
 'C9',
 'C10',
 'C11',
 'C12',
 'C13',
 'C14',
 'C15',
 'C16',
 'C17',
 'C18',
 'C19',
 'C20',
 'C21',
 'C22',
 'C23',
 'C24',
 'C25',
 'C26']

# 数据处理的函数
def data_process(data_df,dense_features,sparse_features):
    """
    简单处理特征，包括填充缺失值，数值处理，类别编码
    param data_df: DataFrame格式的数据
    param dense_features: 数值特征名称列表
    param sparse_features: 类别特征名称列表
    """
    data_df[dense_features] = data_df[dense_features].fillna(0.0) # 空值补0.0
    for f in dense_features: # 对数值型特征的处理
        data_df[f] = data_df[f].apply(lambda x: np.log(x+1) if x > -1 else -1)
    # 将类别型特征的空值填上-1    
    data_df[sparse_features] = data_df[sparse_features].fillna("-1")
    for f in sparse_features:
        lbe = LabelEncoder() # 对类别型特征进行了one-hot
        data_df[f] = lbe.fit_transform(data_df[f]) # 传入的是个列表
    
    return data_df[dense_features + sparse_features]

train_data = data_process(data, dense_features, sparse_features)

train_data
I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 ... C17 C18 C19 C20 C21 C22 C23 C24 C25 C26
0 0.000000 1.386294 5.564520 0.000000 9.779567 0.000000 0.000000 3.526361 0.000000 0.000000 ... 8 66 0 0 3 0 1 96 0 0
1 0.000000 -1.000000 2.995732 3.583519 10.317318 5.513429 0.693147 3.583519 5.081404 0.000000 ... 7 52 0 0 47 0 7 112 0 0
2 0.000000 0.000000 1.098612 2.564949 7.607878 5.105945 1.945910 3.583519 6.261492 0.000000 ... 8 49 0 0 25 0 6 53 0 0
3 0.000000 2.639057 0.693147 1.609438 9.731334 5.303305 1.791759 1.609438 3.401197 0.000000 ... 8 37 0 0 156 0 0 32 0 0
4 0.000000 0.000000 4.653960 3.332205 7.596392 4.962845 1.609438 3.496508 3.637586 0.000000 ... 8 14 5 3 9 0 0 5 1 47
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
195 0.000000 0.000000 4.736198 1.386294 8.018625 6.356108 1.098612 1.386294 5.370638 0.000000 ... 0 74 5 1 30 5 0 118 17 48
196 0.000000 0.693147 0.693147 0.693147 7.382746 2.564949 0.693147 2.564949 2.772589 0.000000 ... 1 25 0 0 138 0 0 68 0 0
197 0.693147 0.000000 1.945910 1.386294 0.000000 0.000000 2.995732 1.386294 1.386294 0.693147 ... 4 40 17 2 41 0 0 12 16 11
198 0.000000 3.135494 1.945910 3.135494 5.318120 5.036953 4.394449 2.944439 6.232448 0.000000 ... 4 7 18 1 123 0 0 10 16 49
199 0.693147 -1.000000 0.000000 0.000000 4.934474 0.000000 0.693147 0.000000 0.000000 0.693147 ... 7 72 0 0 0 0 0 0 0 0

200 rows × 39 columns

train_data['label'] = data['label']

train_data
I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 ... C18 C19 C20 C21 C22 C23 C24 C25 C26 label
0 0.000000 1.386294 5.564520 0.000000 9.779567 0.000000 0.000000 3.526361 0.000000 0.000000 ... 66 0 0 3 0 1 96 0 0 0
1 0.000000 -1.000000 2.995732 3.583519 10.317318 5.513429 0.693147 3.583519 5.081404 0.000000 ... 52 0 0 47 0 7 112 0 0 0
2 0.000000 0.000000 1.098612 2.564949 7.607878 5.105945 1.945910 3.583519 6.261492 0.000000 ... 49 0 0 25 0 6 53 0 0 0
3 0.000000 2.639057 0.693147 1.609438 9.731334 5.303305 1.791759 1.609438 3.401197 0.000000 ... 37 0 0 156 0 0 32 0 0 0
4 0.000000 0.000000 4.653960 3.332205 7.596392 4.962845 1.609438 3.496508 3.637586 0.000000 ... 14 5 3 9 0 0 5 1 47 0
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
195 0.000000 0.000000 4.736198 1.386294 8.018625 6.356108 1.098612 1.386294 5.370638 0.000000 ... 74 5 1 30 5 0 118 17 48 0
196 0.000000 0.693147 0.693147 0.693147 7.382746 2.564949 0.693147 2.564949 2.772589 0.000000 ... 25 0 0 138 0 0 68 0 0 1
197 0.693147 0.000000 1.945910 1.386294 0.000000 0.000000 2.995732 1.386294 1.386294 0.693147 ... 40 17 2 41 0 0 12 16 11 1
198 0.000000 3.135494 1.945910 3.135494 5.318120 5.036953 4.394449 2.944439 6.232448 0.000000 ... 7 18 1 123 0 0 10 16 49 0
199 0.693147 -1.000000 0.000000 0.000000 4.934474 0.000000 0.693147 0.000000 0.000000 0.693147 ... 72 0 0 0 0 0 0 0 0 0

200 rows × 40 columns

train_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 200 entries, 0 to 199
Data columns (total 40 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   I1      200 non-null    float64
 1   I2      200 non-null    float64
 2   I3      200 non-null    float64
 3   I4      200 non-null    float64
 4   I5      200 non-null    float64
 5   I6      200 non-null    float64
 6   I7      200 non-null    float64
 7   I8      200 non-null    float64
最低0.47元/天 解锁文章

200万优质内容无限畅学
精通推荐算法4：经典DNN框架特征交叉模型 Deep Crossing
谢杨易的博客
01-10 1094
微软2016年提出的Deep Crossing模型奠定了深度学习精排模型的基本架构，具有十分重要的意义。它采用“Embedding + MLP”的结构，成为目前推荐算法的基本范式。通过深度神经网络，实现大规模特征自动组合，大大减少了对人工构造交叉组合特征的依赖和开销。同时将残差网络第一次落地到推荐算法中，优化深度学习反向传播梯度弥散和过拟合等问题。
DeepCrossing模型
zhao254014的博客
08-27 792
在传统神经网络的基础上加入了embedding， 残差连接等思想， 且结构比较简单。
推荐算法学习笔记之DeepCrossing
clshishuaige的博客
03-16 390
DeepCrossing简介 DeepCrossing于2016年由微软提出，主要应用于Bing搜索引擎中搜索广告推荐场景，用户在搜索引擎中输入搜索词后，搜索引擎除返回相关结果，还返回搜索词相应的广告，预测广告点击率（Click Through Rate）,并以此作为排序指标，是该模型的优化目标，下图为DeepCrossing的模型结构： Layers及其各自的作用 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：
【深度推荐算法】DataWhale组队学习Task01: DeepCrossing
weixin_43341824的博客
03-16 311
DeepCrossing 动机 将深度学习架构应用于推荐系统中的模型2016年由微软提出， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 应用场景 微软搜索引擎Bing中的搜索广告推荐（用户输入搜索查询进店之后，搜索引擎返回相关结果还返回与搜索词相关的广告） 优化目标 预测某一广告，用户是否会点击，依旧是点击率预测的问题。 点击率预测，即CTR预估。CTR（Click-Through-Rate）即点击通过率，是互联网广告常用的术语，指网络广告（
推荐系统之Deep Crossing
hiahia28的博客
03-16 245
推荐系统之Deep Crossing前言一、Embedding&Stacking Layer二、Multiple Residual Units Layer三、Scoring Layer四、核心代码学习 前言 Deep Crossing是微软在2016年提出用于解决Bing引擎搜索广告推荐问题的模型，属于深度学习网络架构在推荐系统中的一次完成应用。对于传统的推荐算法而言，浅层的模型结构无法学习到用户与项目之间更深层次的特征关系，于是需要人工设计并组合特征，以便能解决传统推荐存在的数据稀疏以及冷启动问题
Deep Crossing
null的专栏
03-24 1892
1. 概述 算法原理 它涵盖了深度CTR模型最典型的要素，即通过加入embedding层将稀疏特征转化为低维稠密特征，用stacking layer，或者叫做concat layer将分段的特征向量连接起来，再通过多层神经网络完成特征的组合、转换，最终用scoring layer完成CTR的计算。跟经典DNN有所不同的是，Deep crossing采用的multilayer perceptron是由残差网络组成的，这无疑得益于MSRA著名研究员何恺明提出的著名的152层ResNet。 参考文献 [1]
bookcrossing推荐数据集
04-26
bookcrossing网站的推荐数据集，已经经过预处理，和movielens的数据集格式一致。第一行是用户数、物品数、总打分数，之后每一行是一条打分记录。打分从0-10。可以用于推荐算法的训练。
深度学习推荐系统：DeepCrossing原理与Keras模型搭建
在DeepCrossing模型中，特征交叉被引入到神经网络中，使得模型可以学习到更复杂的用户-商品关系。 在实际应用中，DeepCrossing通常会先使用交叉层生成组合特征，然后这些特征会作为输入传递到深度神经网络中进行...
基于深度学习的推荐算法——推荐系统模型搭建基础及DeepCrossing原理 深度学习原理.pdf
04-13
DeepCrossing模型的应用场景是微软搜索引擎Bing中的搜索广告推荐，目标是预测用户是否会点击某个广告。 知识点： 1. Sequential API和Functional API是Keras搭建模型的两种模式。 2. Sequential API通过层的有序堆...
BookCrossing数据集（包含278858个用户对271379本书进行的评分，包括显式和隐式的评分。本数据集主要包含2中文件格式，sql和csv）
12-11
BookCrossing数据集（包含278858个用户对271379本书进行的评分，包括显式和隐式的评分。本数据集主要包含2中文件格式，sql和csv）
CTR模型：DeepCrossing
rosefun96的博客
09-08 8663
1. 简介 DeepCrossing是2016年提出的模型。 对于web-scale, 特征数量大，如何自动组合特征生成高阶特征是一个问题。 2. 模型 2.1 数据 在搜索广告任务中，有大量的原始特征，每个原始特征都用一个向量表示，原始特征包括： （1）用户 query：用户搜索文本； （2）广告主竞价 keyword：广告主的竞价关键词； （3）广告Title：广告的标题文本； （4）MatchType：广告主指定的关键词匹配类型。分为exact，phrase，broad，contextual. (5)
离线图书推荐,使用sparkMLlib ALS协同过滤算法
qq_43561757的博客
05-06 606
图书推荐，使用sparkMLlib ALS协同过滤算法，bookcrossing数据集，Scala语言，虚拟机ieda平台， 代码参照HADOOP大数据实战权威指南第十一章，只能说算是能运行出结果了吧 package com.csu import java.util.Random import org.apache.spark.{SparkConf, SparkContext} import or...
DeepCrossing学习
qq_36559719的博客
03-17 384
DeepCrossing学习 此次在datawhale小组下学习深度推荐算法，对于推荐算法，只看过协同过滤和隐语义模型，对于深度学习 推荐算法知之甚少，通过此次学习了解深度推荐算法。首先开始学习DeepCrossing模型。 算法原理 DeepCrossing模型主要解决的问题 1.特征在编码后过于稀疏，输入神经网络中训练不太适合，deepcrossing模型可以解决稀疏特征向量 稠密化的问题。 2.在深度学习中经常会遇到特征交叉组合问题，DeepCrossing可以很好解决特征自动交叉组合问题。 3.可以
深度推荐模型-DeepCrossing
qq_39544991的博客
03-16 699
DeepCrossing 1.背景     DeepCrossing是一个真正的把深度学习架构应用于推荐系统中的模型了，2016年由微软提出，完整的解决了特征工程、稀疏向量稠密化，多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 这个模型涉及到的技术比较基础，在传统神经网络的基础上加入了embedding，残差连接等思想，且结构比较简单，对初学者复现和学习都比较友好。。     DeepCrossing模型应用场景是微软搜索引擎Bing中的搜索广告推荐，用户在输入搜索词之后，搜索引擎除了返
身边的“漂书行动” BookCrossing
张彤的专栏
07-29 1074
同事和同学之间经常会共享很多东西，可能是美食，可能是八卦新闻，也可能是一张CD、一部电影或者一本好书。有时候一本书太受欢迎，想要借阅的人太多，书的主人还得在几位借阅者中间协调先后。我想这大概算是BookCrossing最初形态吧。现在，这样的传阅行为已经扩展到陌生人之间啦，而且还有了自己的网站呢。BookCrossing is defined as "the practice of lea
机器学习中需要掌握的名词
CDA数据分析师
06-28 234
在机器学习中有很多名词出现的频率十分高，如果对这些名词掌握不够的话，我们是很难去深入理解机器学习的知识的。在这篇文章中我们就给大家介绍一下关于机器学习涉及到的专业名词，希望由此来帮助大家巩固机器学习方面的基础。 （1）无监督机器学习就是训练一个模型寻找数据集中的模式。无监督机器学习最常用于将数据分成几组类似的样本。例如，无监督机器学习算法可以根据音乐的各种属性聚类数据...
深度学习推荐系统03
m0_37671786的博客
03-31 352
深度学习推荐系统03
深度学习在工业界的应用案例（一）
guoyuhaoaaa的博客
11-01 7755
最近忙里偷闲，看了两篇深度学习在工业界落地的paper，这里总结一下，方便以后的复习和回顾。主要参考了2019年facebook的paper《Deep Learning Recommendation Model for Personalization and Recommendation Systems》和2019年第四范式在KDD上发表的paper《AutoCross: Automatic Fe...
2021-03-18：WideNDeep模型
DDxuexi的博客
03-18 388
task2主要学习了wideNdeep的tf的实现,仍是改为了没有字典和nametuple的形式并打印了每行的显示结果。先学习模型的编写及内容，在本次组队学习后再掌握将其改为字典形式。 模型部分内容 wide部分 wide部分的输入包括数值型特征的输入和类别型特征的输入.数值型特征的输入后,经过concat->dense concat将各个数值型特征的tensor拼接起来,经过Dense后相当于做了加和,Dense的过程中出现的参数体现了不同数值型特征的权重 如果直接对数值特征进行add
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值