- 博客(9)
- 收藏
- 关注
RSS订阅原创 Deep & Cross Network for Ad Click Prediction（DCN）
谷歌2017年提出的基于wide&deep的交叉网络模型谷歌提出在FM只能二阶特征组合的基础上，能否实现任意阶的特征融合工作，于是在此基础上突出了交叉网络最底层embedding 上层左侧cross network 采用残差的链接方式，因此不会像DNN一样，传播多层导致了信息的丢失，损失了记忆性。而且计算量也是极大的简化。...
2021-10-22 10:18:13
184
原创 Attention Neural Factorization Machines (AFM)
随着Attention出现NFM简单暴力相加很明显不太好，因为各种特征组合的权重应该是有重要性区别的，因此可以引入Attention机制在加权的时候赋予不同的权值最终输出两部分的结果加和
2021-10-14 15:42:03
149
原创 Neural Factorization Machines (NFM)
deepFm在embedding上直接concat参数量是f*k,在此基础上NFM提出简化策略以轻量化模型.因此NFM仍然是以wide&deep作为主框架的.作者提出的连接方式更加的暴力,不是concat而是使用Bi-Interaction Layer名字很高级实际就是按照一种规则将特征相乘再相加具体表示如下...
2021-10-14 15:33:58
177
原创 Factorization-Machine based Neural Network (deepFM)
在wide&deep的基础上,由于wide部分只是简单的LR所以仍然需要人工特征工程.因此可以利用上之前的FM作为wide部分自动完成特征组合同时我们可以发现他们是共享embedding层的,这样输出就受到了wide端FM的输出影响提高了记忆性同时不用人工的特征组合,同时FM训练得到的参数放入DNN中训练又受到了deep端深度传播的影响提高了泛化性....
2021-10-14 14:54:26
173
原创 Wide & Deep Learning (Wide&Deep)
前文两篇PNN和DNN都是在embedding处进行更改,高阶的特征可以自动获取了,但是低阶特征却丢失了,这样虽然增加了模型的泛化性却丢失了初始信息的记忆性.因此谷歌提出wide&deep框架
2021-10-14 14:43:28
87
原创 Product-based Neural Network(PNN)简介
在FNN的基础上发现concat的embedding学习到的交叉特征表达不充分.于是加入Product Layer.例如关系更多的是and而不是add,例如性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群.表达意思是不同因此在product layer可以将特征融合,主要有两种方式,一种向量的内积计算,另一种采用矩阵的相乘,如下两图]...
2021-10-14 14:31:41
198
原创 FNN(Factorization-machine supported Neural Networks)简介
传统DNN网络的输入是原始特征,维度过大,因此论文提出将特征进行类别归属,这样可以极大减少数据量由百万级别的类别变到f*k级别的参数缺陷1:采用FM初始化参数无法实现端对端的任务2:将高阶特征concat放入MLP中,无法精确表达低阶特征...
2021-10-14 13:41:17
666
原创 FM(因子分解机) 极简介绍
FM主要用于特征的交叉组合,左边由线性LR组成,右边非线性的特征组合传统LR的拟合能力较差,所以需要非线性的组合特征那么右侧引入的Vi和Vj就是特征的隐向量(实际上这里已经属于embedding的范畴了),在数据稀疏的场景下,可以极大减少计算量...
2021-10-14 10:21:40
114
原创 多模态多标签情感分析
Multi-modal Multi-label Emotion Detection with Modality and LabelDependence多模态多标签情感分析论文引用地址：https://www.aclweb.org/anthology/2020.emnlp-main.291EMNLP 2020概要提出了一种多模态seq2set(MMS2S)方法，同时对模态和标签依赖进行建模步骤采用了三种基于Transfomer的单模态编码器来捕捉文本、视觉和声学模式的单模态特性使给定的情感表
2020-12-13 19:10:00
3137
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人