推荐算法学习笔记--DeepFM模型篇

最新推荐文章于 2024-06-25 16:26:12 发布

_骑虎少年_

最新推荐文章于 2024-06-25 16:26:12 发布

阅读量469

点赞数

分类专栏：推荐算法学习笔记文章标签：算法深度学习 tensorflow

本文链接：https://blog.youkuaiyun.com/clshishuaige/article/details/115058783

版权

本文介绍了DeepFM模型在点击通过率(CTR)预测中的应用，强调了其结合DNN学习高阶特征组合和FM学习低阶特征交互的优势。模型结构包括Deep部分的前馈神经网络和FM部分的因子分解机。通过嵌入层处理稀疏输入，并在训练中展示效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DeepFM简介

研究背景

在CTR（点击通过率）问题的研究中，如何令模型更好、更高效地学习特征组合是研究的重中之重，DNN（深度神经网络）具有的特征组合能力使其能够学习到高阶的特征组合，结合FM对低阶特征的学习，使模型可以同时从raw feature中学习到高阶和低阶的特征交互。

模型结构

在这里插入图片描述
模型主要分为Deep和FM两部分

Deep部分

Deep部分是一个前馈神经网络（图1），作用是为了学习高阶的特征组合。与图像或者语音这类输入不同，图像语音的输入一般是连续而且密集的，然而用于CTR的输入一般是及其稀疏的。同时也为了增强模型泛化能力，所以在第一层隐含层之前，引入一个嵌入层（图2）来完成将输入向量压缩到低维稠密向量。
在这里插入图片描述

FM部分

FM部分是因子分解机，用以学习低维特征，这部分由Addition Unit和多个内积单元组成，与Deep部分共享Embbeding向量
在这里插入图片描述

DeepFM代码

import warnings
warnings.filterwarnings("ignore")
import itertools
import pandas as pd
import numpy as np
from tqdm import tqdm
from collections import namedtuple

import tensorflow as tf
from tensorflow.keras.layers import *
from tensorflow.keras.models import *

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import  MinMaxScaler, LabelEncoder

from utils import SparseFeat, DenseFeat, VarLenSparseFeat


# 简单处理特征，包括填充缺失值，数值处理，类别编码
def data_process(data_df, dense_features, sparse_features):
    data_df[dense_features] = data_df[dense_features].fillna(0.0)
    for f in dense_features:
        data_df[f] = data_df[f].apply(lambda x: np.log(x+1) if x > -1 else -1)
        
    data_df[sparse_features] = data_df[sparse_features].fillna("-1")
    for f in sparse_features:
        lbe = LabelEncoder()
        data_df[f] = lbe.fit_transform(data_df[f])
    
    return data_df[dense_features + sparse_features]


def build_input_layers(feature_columns):
    # 构建Input层字典，并以dense和sparse两类字典的形式返回
    dense_input_dict, sparse_input_dict = {
   }, {
   }

    for fc in feature_columns:
        if isinstance(fc, SparseFeat):
            sparse_input_dict[fc.name] = Input(shape=(1, ), name=fc.name)
        elif isinstance(fc, DenseFeat):
            dense_input_dict[fc.name] = Input(shape=(fc.dimension, ), name=fc.name)
        
    return dense_input_dict, sparse_input_dict


def build_embedding_layers(feature_columns, input_layers_dict, is_linear):
    # 定义一个embedding层对应的字典
    embedding_layers_dict = dict()
    
    # 将特征中的sparse特征筛选出来
    sparse_feature_columns = list(filter(lambda x: isinstance(x, SparseFeat), feature_columns)) if feature_columns else []
    
    # 如果是用于线性部分的embedding层，其维度为1，否则维度就是