Wide&Deep模型学习笔记

最新推荐文章于 2023-05-20 16:33:49 发布
最新推荐文章于 2023-05-20 16:33:49 发布
阅读量242 收藏
点赞数
分类专栏： 其他
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gulaixiangjuejue/article/details/114987473
版权
Wide&Deep模型结合浅层的线性模型（Wide部分）和深层神经网络（Deep部分），利用Wide部分的记忆能力学习历史数据中的高频特征组合，Deep部分通过神经网络自动学习特征交叉，提高泛化能力。输出层将两部分结果合并，通过logistic损失函数得出最终预测。Wide部分使用L1 FTRL训练以实现稀疏解，Deep部分采用ReLU激活函数的神经网络。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Wide&Deep模型将浅层模型（Wide部分）的记忆能力和深层模型（Deep部分）的泛化能力结合起来，让推荐结果兼顾准确性和拓展性。

左边黑色框框住的部分为wide部分。

1、Wide部分

模型中Wide浅层模型部分的记忆能力指从历史数据中学到高频共现的特征组合的能力。这部分就是一个简单的线性模型：

x表示原始基础特征，\phi(x)表示交叉特征。交叉特征通过特定的变换函数对基础特征进行组合，论文中给出的是交叉积变换函数：

当第i个特征值属于第k个交叉特征时，

最低0.47元/天 解锁文章
深度学习推荐模型-Wide&Deep
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-18 540
本文参考链接，仅供个人学习：https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel 相关学习书籍推荐：《深度学习推荐系统》王喆 Wide & Deep介绍 Wide & Deep Model Memorization： 之前大规模稀疏输入的处理是：通过线性模型 + 特征交叉。所带来的Memorization以及记忆能力非常有效和可解释。但是Generalizat.
【学习笔记】深度模型Wide&Deep
ytwanzi的博客
03-18 442
Wide&Deep模型学习1.背景2.结构3. 代码实现4. 思考 1.背景 来自16年的一篇Google的论文《Wide & Deep Learning for Recommender Systems》，文章将传统的LR和DNN组合构成一个wide&deep模型（并行结构），既保留了LR的拟合能力，又具有DNN的泛化能力，并且不需要单独训练模型（join），可以方便模型的迭代。 问题的提出： 线性模型LR泛化能力较弱，且需要做好特征工程，无法学习到训练集中未出现的组合特征。 FM或
Wide & Deep
拾遗
10-10 1261
今天分享一篇谷歌2016发表的推荐论文《Wide & Deep Learning for Recommender Systems》。 #背景 wide&deep设计了一种融合浅层（wide）模型和深层（deep）模型进行联合训练的框架。 **Wide部分：**通过线性模型 + 特征交叉，使模型具有“记忆能力（Memorization）”，通常非常有效、可解释较强。但其”泛化能力（Generalization）“需要更多的人工特征工程。 **Deep部分：**只需要少量的特征工程，深度神经网络
Wide & Deep模型
Yasin的博客
09-11 1万+
Wide&Deep的右边就是DNN部分，左边的FM Function用的是线性回归，其特征组合需要人去设计。 Wide&Deep模型。它混合了一个线性模型（Wide part）和Deep模型(Deep part)。这两部分模型需要不同的输入，而Wide part部分的输入，依旧依赖人工特征工程。 Wide&Deep模型 推荐系统和类似的通用搜索排序问题共有的一大挑...
《深度学习推荐系统》笔记（2）
Mochayz的博客
07-09 888
《深度学习推荐系统》第3章笔记
排序模型（learning to rank）发展史（偏推荐系统
对算法理论、算法工程落地、大数据工具等感兴趣
06-30 2487
「排序」是一个非常业务化的任务，其实践场景也多为搜索、广告、推荐，被用于解决排序任务的模型也被人一统称作了「排序模型」，但其实「排序模型」也是「普通模型」，只不过或多或少在业务层面针对排序做了一些针对。观察每一类算法模型的发展，最重要的不是事无巨细的记住所有迭代模型的细节，而是明白每一次发生迭代，每一次技术革新，都或多或少解决了上一代模型存在的某一些问题。记住他们迭代的契机，才是通晓了整个历史。这次就来梳理一下排序模型的发展史。提起推荐系统中的算法，最经典的莫过于协同过滤。协同顾虑最早可以追溯到 1992
【论文导读】Wide&Deep模型的深入理解
Blank_Space
07-10 2078
前言今天分享一篇谷歌2016发表的推荐论文《Wide & Deep Learning for Recommender Systems》。本文的亮点主要是作者提出了Wide部分与D...
【推荐系统】wide&deep模型、NeuralCF模型 笔记
m0_51933492的博客
09-16 767
Deep：DNN模型，提高模型的泛化能力。Wide：简单的广义线性模型，其特征组合需要人去设计，依赖人工特征工程。注重模型的记忆能力。
深度模型笔记02 Wide&Deep
ritatype的博客
03-18 232
深度模型笔记02 Wide&Deep 更多资料参考：datawhale 1. Wide&Deep 一句话概括W&D，W&D由浅层（或单层）的wide部分神经网络和深层的deep部分多层神经网络组成，输出层采用softmax或logistics regression综合wide和deep部分的输出。 特点： 1.wide部分有利于增强模型的“记忆能力”，deep部分有利于增强模型的“泛化能力”。 2.wide侧记住的是历史数据中常见、高频的模式，它没有发现新模式的能力，一
《深度学习推荐系统》——第三章2
Drogal_dracarys的博客
05-20 208
假设⼆者的共现频率⾼达 10%( 全局的平均应⽤安装率为 1%), 这个特征如此之强，以⾄于在设计模型时，希望模型⼀发现有这个特征，就推荐 pandora 这款应⽤（ 就像⼀个深刻的记忆点⼀样印在脑海⾥ ），这就是所谓的模型的“ 记忆能⼒”。这⾥可以做⼀个简单的计算。FNN[8]由伦敦⼤学学院的研究⼈员于 2016年提出，其模型的结构（ 如图 3-17所示）初步看是⼀个类似 Deep Crossing 模型的经典深度神经⽹络，从稀疏输⼈向量到稠密向量的转换过程也是经典的 Embedding 层的结构。
笛卡尔积交叉
duanyajun564的博客
04-21 532
表1： SELECT * FROM tblage; age_class age_range 1 21 岁～ 30 岁 2 31 岁～ 40 岁 3 41 岁～ 50 岁 表二； SELECT * FROM TblSex; sex_cd sex m 男 f 女 笛卡尔积； SELECT age_class,age_range,sex FROM tblage ...
《Wide and Deep Learning for Recommender Systems》学习笔记
雪伦的专栏
05-02 1万+
顾名思义，Google提出的这篇文章将Wide Model和Deep Model结合起来进行，思路非常值得学习。1.Wide Model首先说一下Wide Model,就是上图中左边的那一部分，是一个简单的逻辑回归模型。这一部分比较简单，不多有一个新的思路就是交叉特征：论文中一个比较形象的例子 For binary features, a cross-product transformation
深度学习Wide&Deep模型——记忆能力和泛化能力的综合
忘川的博客
01-30 2981
文章目录Wide&Deep前言模型的记忆能力与泛化能力Wide&Deep模型的结构 Wide&Deep前言 Wide&Deep模型的主要思路正如其名，是由单层的Wide部分和多层的Deep部分组成的混合模型。其中Wide部分的主要作用、是让模型具有较强的“记忆能力”；Deep部分的主要作用是让模型具有“泛化能力”。正因为这样的结构特点，使模型间距了逻辑回归和深度神经网络的优点——能够快速处理并记忆大量历史行为特征，并且具有强大的表达能力。不仅在当时迅速成为业界争相应用的主流模
FM/FFM/wide&deep/deepFM笔记
小屋
11-04 923
一，FM FM在LR的基础上，增加了交叉特征，表达能力更强。FM为每个特征学习一个隐向量，在特征交叉时，使用两个特征隐向量的内积作为交叉特征的权重。FM的模型是： y~=w0+∑i=1nwixi+∑i=1n∑j=i+1n<vivj>xixj \widetilde{y}=w _{0}+\sum_{i=1}^{n}w _{i}x _{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}<v_{i}v_{j}>x_{i}x_{j} y​=w0​+i=1∑n​wi​xi​+i
向量的交叉积计算& python的实现 ~python
冷心笑看丽美人 ~ blog
04-18 1595
交叉积运算一直感觉挺难记忆的，所以写下来做个笔记。举例子更好理解： 例子：两个向量A和B，求交叉积。已知 A=[x1,y1,z1], B=[x2,y2,z2] 则A和B的交叉积运算方法：C=[y1z2-y2z1,x2z1-x1z2,x1y2-x2y1]。 其中： y1z2-y2z1部分标记如下： A=[x1,y1,z1], B=[x2,y2,z2] x2z1-x1z2部分标记如下： A=[x1,y1,z1], B=[x2,y2,z2] x1y2-x2y1部分标记如下： A=[x1,
win10浏览器如何访问ipv6网址
热门推荐
gulaixiangjuejue的博客
01-07 9万+
什么是ipv6？ IPv6是下一版本的互联网协议，也可以说是下一代互联网的协议，它的提出最初是因为随着互联网的迅速发展，IPv4定义的有限地址空间将被耗尽，地址空间的不足必将妨碍互联网的进一步发展。为了扩大地址空间，拟通过IPv6重新定义地址空间。IPv6采用128位地址长度，几乎可以不受限制地提供地址。按保守方法估算IPv6实际可分配的地址，整个地球的每平方米面积上仍可分配1000多个地址。在...
word 打出表示对一个参数估计的^值
gulaixiangjuejue的博客
09-26 1万+
在统计学中如对y_i的估计常常用来表示，在word中如何打出估计量上面的^呢？ 1、选中要在上面放^的字母，举个例子如：w 2、在“开始”菜单栏里选中“带圈字符” 此时弹出对话框，直接点确定： 3、此时w变成了这个样子，右击选择“切换域代码”，w变成了这种形式 将括号里第一项的“圈”改为“^”并将"^"设置为上标，此时原始w变成了 再右击选择“切换域代码”得到 可以看到w上面可...
Python输入输出练习总结-牛客网
gulaixiangjuejue的博客
03-26 2246
由于一些企业的笔试需要在代码里处理样例的输入输出，而不是像leetcode那样直接写函数就可以。因此在牛客网上进行了专项练习。下面就Python语言在处理输入时的一些常用函数。 1、处理键盘输入：input() 在Python3中，input() 函数接收任意类型的输入，将所有输入默认为字符串处理，并返回字符串string 类型。因此输入的数字需要转换类型。建议在键入时就进行类型转换，避免后续忘记。当仅接收一个整数输入时，可以直接写： a = int(input()) 利用input一次性输入多个
滴滴后台开发实习面经
gulaixiangjuejue的博客
01-11 2147
元旦后去滴滴面试后台开发实习生，岗位主要应用语言是java，现简单记录总结。 面试分三面，时间从3:30-6:00，每个面试官大概会问半个小时。 一面：根据简历摸底基础知识，首先自我介绍。 java基础： 如何理解面向对象？ 继承和多态有什么区别和联系？ 数据结构： list和set的区别 set为什么是无序不可重复的 set和map有什么区别 写出二叉树的前中后序遍历结果 ...
CTR模型代码实现与深度学习笔记
标题《CTR:CTR模型代码和学习笔记总结》揭示了文档主要聚焦于CTR模型的具体实现代码、相关学习笔记以及知识点的总结。本文档旨在提供一个深度学习模型实现的实践案例，通过实操经验帮助理解CTR模型的构建和应用。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值