浅梦s-优快云博客

原创 DeepCTR v0.7.1 版本更新说明

hello大家好，自deepctr v0.7.0在去年11月底更新后，由于个人的一些原因没能及时的跟进和解答朋友们在github issue区，DeepCTR交流群以及通过邮件的方式提出的相关问题，这里先说一声抱歉，希望没有影响到朋友们的学习和工作。放假回家在家里躺平放空若干天后，总算有心情打开电脑改改代码了。这篇文章主要介绍一下在新版本v0.7.1中主要做了哪些改动～主要功能和改进Wei...

2020-01-28 21:41:43 1953

原创 FLEN: 利用场信息缓解梯度耦合的大规模CTR预测模型

摘要点击率预估问题中，建模特征交互对于模型的效果起着至关重要的作用。然而，大部分基于因子分解的模型都存在一个梯度。本文提出了一个Field-Leveraged Embedding Network (FLEN) 模型。FLEN使用了一个filed-wise bi-interaction pooling技术。通过利用特征所属的场的信息，filed-wise bi-interaction pool...

2019-11-21 08:02:59 2277 1

原创【ICDE2020】SeqFM: 基于多视图自注意力的动态序列感知CTR预测模型

本文由来自昆士兰大学，格里菲斯大学和国立交通大学联合发表在ICDE2020上的一篇文章，题目为Sequence-Aware Factorization Machines for Temporal Predictive Analytics主要提出了一种同时结合了特征交互中的顺序依赖和保持DNN的非线性表达能力的FM based模型SeqFM，在建模特征交互和动态行为序列时使用了多视图的自注意力机制...

2019-11-12 14:18:09 1830 1

原创【Graph Neural Network】GraphSAGE: 算法原理，实现和应用

GCN等方法要求图中的所有的顶点在训练过程GraphSAGE(Graph SAmple and aggreGatE)框架，通过训练聚合节点邻居的函数（卷积层），使GCN扩展成归纳学习任务，对未知节点起到泛化作用。...

2019-08-24 20:54:52 6640 1

原创【Graph Neural Network】GCN: 算法原理，实现和应用

半年前写过一系列关于Graph Embedding技术的介绍文章，【Graph Embedding】DeepWalk：算法原理，实现和应用【Graph Embedding】LINE：算法原理，实现和应用【Graph Embedding】Node2Vec：算法原理，实现和应用【Graph Embedding】SDNE：算法原理，实现和应用【Graph Embedding】Struc2Vec...

2019-08-18 00:08:59 6699 4

原创 FiBiNET：结合特征重要性和双线性特征交互进行CTR预估

简介今天主要介绍新浪微博机器学习团队发表在RecSys19上的一项工作。文章标题为 FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction文章指出当前的许多通过特征组合进行CTR预估的工作主要使用特征向量的内积或哈达玛积来计算交叉特征，这种...

2019-07-10 10:03:02 6130 1

原创 CCPM&FGCNN:使用CNN进行特征生成的CTR预测模型

前言今天主要通过两篇论文介绍如何将CNN应用在传统的结构化数据预测任务中，由于时间关系，尽量以精简的语言说明主要问题，并提供代码实现，细节问题请参阅论文。《A Convolutional Click Prediction Model》《Feature Generation by Convolutional Neural Network for Click-Through Rate Pred...

2019-04-27 21:36:58 5092 1

原创【Graph Embedding】Struc2Vec：算法原理，实现和应用

前面介绍过DeepWalk,LINE,Node2Vec,SDNE几个graph embedding方法。这些方法都是基于近邻相似的假设的。其中DeepWalk,Node2Vec通过随机游走在图中采样顶点序列来构造顶点的近邻集合。LINE显式的构造邻接点对和顶点的距离为1的近邻集合。SDNE使用邻接矩阵描述顶点的近邻结构。事实上，在一些场景中，两个不是近邻的顶点也可能拥有很高的相似性，对于这类相似性，上述方法是无法捕捉到的。Struc2Vec就是针对这类场景提出的。Struc2Vec的论文发表在201

2019-02-14 21:25:22 13231 2

原创【Graph Embedding】SDNE:算法原理，实现和应用

SDNE（Structural Deep Network Embedding Daixin）是和node2vec并列的工作，均发表在2016年的KDD会议中。可以看作是基于LINE的扩展，同时也是第一个将深度学习应用于网络表示学习中的方法。SDNE使用了无监督学习的方法来同时优化1阶和2阶相似度(LINE是分别优化的)，学习得到的向量表示能够保留局部和全局结构，并且对稀疏网络具有鲁棒...

2019-02-13 21:19:29 4739 1

原创【Graph Embedding】node2vec:算法原理，实现和应用

前面介绍过基于DFS邻域的DeepWalk和基于BFS邻域的LINE。node2vec则是一种综合考虑dfs邻域和bfs邻域的graph embedding方法。DeepWalk：算法原理，实现和应用LINE：算法原理，实现和应用简单来说，node2vec是deepwalk的一种扩展，可以看作是结合了dfs和bfs随机游走的deepwalk。nodo2vec 算法原理优化目标设f(u).........

2019-02-12 20:12:13 47546 11

原创【Graph Embedding】LINE：算法原理，实现和应用

之前我们介绍过DeepWalk，DeepWalk使用DFS随机游走在图中进行节点采样，使用word2vec在采样的序列学习图中节点的向量表示。与DeepWalk不同的是，LINE既可以用于无权图，也可用于带权图中。在之前提到过，不同的graph embedding方法的一个主要区别是对于图中顶点之间的相似度的定义不同。LINE 算法原理一种新的相似度定义first-order prox...

2019-02-12 10:26:03 14011 8

原创【Graph Embedding】DeepWalk：算法原理，实现和应用

图表示学习我们都知道在数据结构中，图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构，如社交网络，交通网络，电商网站中用户与物品的关系等。目前提到图算法一般指：经典数据结构与算法层面的：最小生成树(Prim,Kruskal,…)，最短路(Dijkstra,Floyed,…)，拓扑排序，关键路径等概率图模型，涉及图的表示，推断和学习，详细可以参考Koller的书或者公开课图...

2019-02-09 16:33:57 8238 3

原创 Alias:时间复杂度O(1)的离散采样方法

【Alias】时间复杂度O(1)的离散事件抽样方法最近在看graph embedding的一些东西，发现像deepwalk,node2vec在采样节点路径以及line中采样边的时候都用到了Alias方法。这里简单总结一下问题定义给定一个离散型随机变量的概率分布规律P(X=i)=piP(X=i)=p_iP(X=i)=pi,i∈1,...Ni\in{1,...N}i∈1,...N，希望设计一个...

2019-01-14 22:45:14 1667

原创 AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型

本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648简介这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分核心结...

2018-12-27 22:04:25 11411 4

原创 DeepCTR：易用可扩展的深度学习点击率预测算法库

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现，并且对外提供了一致的调用接口。关于每种算法的介绍这里就不细说了，大家可以看论文，看知乎，看博客，讲的都很清楚的。这里简单从整体上介绍一下DeepCTR这个库。首先这个不是一个框架，它不具有学术创新意义，目前也没有解决什么复杂的工程问题。它面向的对象是那些对深度学习以及CTR预测算法感兴趣的同学，可以利用这个库：从一个统一...

2018-12-25 16:55:16 6598 2

原创 Pytorch API备忘

之前一直用tensorflow和keras，最近在看一些CV领域的paper，发现相关的开源代码很多是pytorch实现的，于是打算学下pytorch。以下内容主要来于《深度学习入门之Pytorch》这本书。Pytorch基础Tensor张量名称类型 torch.FloatTensor(默认类型) 32位浮点 torch.DoubleTen...

2018-09-11 14:49:05 1552

原创《强化学习》探索方法

衡量探索基于不确定性的探索基于MCTS的规划

2018-06-21 14:39:07 1745

原创《强化学习》基于策略的方法

基于策略RL和基于值函数RL直觉不同种类的策略策略梯度形式 LOG技巧REINFORCE with baseline Actor-CriticAdvantage Actor Critic policy based 和 Value based...

2018-06-20 16:36:17 3941

原创《强化学习》近似值函数方法

表格方法的局限 Deep Q-Network

2018-06-04 21:09:57 1560

原创《强化学习》模型无关方法

模型无关学习 Monte-Carlo &amp; Temporal Difference; Q-learning 探索与利用on-policy 和 off-policySARSAExpected value SARSA对比

2018-06-04 16:57:59 1485

原创《强化学习》 DP动态规划

奖赏设计累计奖赏和折扣累计奖赏数学上看，折扣奖赏机制可以将累计回报转化为递推的形式： Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1\begin{aligned}G_t &amp;amp;amp;amp;amp;amp;amp;= R_t +\gamma(R_{t+1}+\gamma R_{t+2}+...)\\&amp;amp;amp;amp;amp;amp;am

2018-05-30 12:48:33 1415

原创《强化学习》基本概念和交叉熵方法

基本概念监督学习与强化学习监督学习强化学习通过学习近似参考答案通过试验和错误来学习最优策略需要正确答案代理的动作需要反馈模型不影响输入数据代理可以影响自己的观察bandit赌博机...

2018-05-29 23:44:48 2564

原创《序列模型》之序列模型和注意力机制

seq2seq基础模型 Sequence to Sequence Learning with Neural Networks Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine TranslationBeam Search and Bleu Score待补...

2018-02-12 21:50:42 930

原创《序列模型》之自然语言处理和词嵌入

词嵌入简介 Linguistic regularities in continuous spaceword representations A Neural Probabilistic Language ModelWord2vec&amp;GloVeword2vecCBOW&amp;Skip-gram Efficient Estimation ...

2018-02-12 21:50:26 867