m0_38024592的博客

文章目录AbstarctAbstarctinductive biases - 归纳偏执belief propagation - 信念传播从电信网络到量子化学，图结构化数据在自然科学和社会科学中无处不在。如果我们希望系统能够从此类数据中进行学习，推理和推广，那么将归纳归纳关系构建到深度学习架构中就至关重要。近年来，图表示学习的研究激增，包括用于深图嵌入，将卷积神经网络泛化为图结构数据的技术以及受信念传播启发的神经信息传递方法。这些在图形表示学习方面的进步已经导致了许多领域的最新技术成果，包括化学合成.

文章目录AbstractIntroductionArchitectureExperiment思考题ReferenceAbstract概括如下：在很多预测任务中要对特征进行one-hot编码，使得最终的特征向量高度稀疏，因此需要进行特征交互。FM模型只能表达特征之间两两组合之间的关系，无法建模两个特征之间深层次的关系或者说多个特征之间的交互关系。因此可以通过Deep Network来建模更高阶的特征之间的关系。然而Wide&deep和deepcross因为其深度结构而难以训练。故 FM

文章目录0. introduction1. motivation2. Architecture2.1 FM2.2 Deep3. CodeKaggle 实战Reference0. introduction之前介绍的因子分解机(Factorization Machines, FM)通过对于每一维特征的隐变量内积来提取特征组合。最终的结果也非常好。但是，虽然理论上来讲FM可以对高阶特征组合进行建模，但实际上因为计算复杂度的原因一般都只用到了二阶特征组合。DeepFM可以看做是从FM基础上衍生的算法，将Dee

文章目录0. Introduction精简概要wide模型介绍deep 模型介绍W&D模型1. Motivation2. Architecture3. Code4. Reference0. IntroductionGoogle 16年发布的Wide & Deep推荐框架，文章只有4页，思路页很简单。文中设计了一种融合浅层（wide）模型和深层（deep）模型进行联合训练的框架，综合利用浅层模型的记忆能力和深层模型的泛化能力，实现单模型对推荐系统准确性和扩展性的兼顾。对提出的W&D

DeepCrossing1. 动机这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了， 2016年由微软提出， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 这个模型涉及到的技术比较基础，在传统神经网络的基础上加入了embedding，残差连接等思想，且结构比较简单，对初学者复现和学习都比较友好。DeepCrossing模型应用场景是微软搜索引擎Bing中的搜索广告推荐， 用户在输入搜索词之后， 搜索引擎除了返回相关结果， 还返回