nicajonh的博客

transformer是一种不同于RNN的架构，模型同样包含 encoder 和 decoder ，但是encoder 和 decoder 抛弃了RNN，而使用各种前馈层堆叠在一起。Encoder： 编码器是由N个完全一样的层堆叠起来的，每层又包括两个子层(sub-layer)，第一个子层是multi-head self-attention mechanism层，第二个子层是一个简...

深度学习调优过程中，有很多的tricks,其中Batch Normalization是一项，这个篇博客介绍Batch Normalization讲得还不错，所以推荐下Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一...

目录一、协同过滤算法二、基于邻域的算法：UserCF、ItemCF三、UserCF、ItemCF的改进一、协同过滤推荐算法协同过滤算法是指基于用户行为数据设计的推荐算法，主要包括：1.基于邻域的算法：UserCF（基于用户的协同过滤算法）、ItemCF（基于物品的协同过滤算法）2.隐语义模型(LFM)：基于矩阵分解的推荐算法3.基于图的随机游走算法：PersonalR...

推荐一篇知识图谱应用到推荐系统的论文，感兴趣的可以看看简介推荐系统最初是为了解决互联网信息过载的问题，给用户推荐其感兴趣的内容。在新闻推荐领域，有三个突出的问题需要解决：1.新闻文章具有高度的时间敏感性，它们的相关性很快就会在短时间内失效。 过时的新闻经常被较新的新闻所取代。 导致传统的基于ID的协同过滤算法失效。2.用户在阅读新闻的时候是带有明显的倾向性的，一般一个用户阅读过的文章会...

探索下深度学习在知识图谱中的应用实践，感兴趣的同学可以看看，研究下一、大规模知识图谱的构建 知识图谱自上世纪60年代从语义网络发展起来以后，分别经历了1980年代的专家系统、1990年代的贝叶斯网络、2000年代的OWL和语义WEB，以及2010年以后的谷歌的知识图谱。谷歌目前的知识图谱已经包含了数亿个条目，并广泛应用于搜索、推荐等领域。知识图谱的存储和查询语言也经历了历...

先上图看一下Faster R-CNN操作流程： 图片说明：Faster R-CNN=Fast R-CNN+RPN，其中Fast R-CNN结构不变；RPN负责生成proposals，配合最后一层的feature map，使用ROI Pooling，生成fixed length的feature vector。我们详细讨论一下RPN的操作过程 图片说明，红框只是一个滑窗的操作过程，注意...

语音识别中的CTC算法的基本原理解释目前主流的语音识别都大致分为特征提取，声学模型，语音模型几个部分。目前结合神经网络的端到端的声学模型训练方法主要CTC和基于Attention两种。本文主要介绍CTC算法的基本概念，可能应用的领域，以及在结合神经网络进行CTC算法的计算细节。CTC算法概念CTC算法全称叫：Connectionist temporal classification...

    Attention应用  ：    注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高输入序列对目标序列的注意力的表现。   Attention理解：    上图中Enco...

一、决策树的生成算法        基本的决策树生成算法主要有ID3和C4.5, 它们生成树的过程大致相似，ID3是采用的信息增益作为特征选择的度量，而C4.5采用信息增益比。构建过程如下：        1.从根节点开始，计算所有可能的特征的信息增益（互信息），选择计算结果最大的特征为根节点。        2.根据算出的特征建立子节点，执行第一步，直到所有特征的信息增益（互信息）很小或者没有特...

https://zybuluo.com/hanbingtao/note/581764零基础入门深度学习(1) - 感知器 零基础入门深度学习(2) - 线性单元和梯度下降 零基础入门深度学习(3) - 神经网络和反向传播算法 零基础入门深度学习(4) - 卷积神经网络 零基础入门深度学习(5) - 循环神经网络 零基础入门深度学习(6) - 长短时记忆网络(LSTM) 零基础入门深度学习(7) -...

 Collaborative Filtering Recommendations (协同过滤，简称CF) 是目前最流行的推荐方法，在研究界和工业界得到大量使用。但是，工业界真正使用的系统一般都不会只有CF推荐算法，Content-based Recommendations (CB) 基本也会是其中的一部分。      CB应该算是最早被使用的推荐方法吧，它根据用户过去喜欢的产品（本文统称为 ite...

前言　　训练神经网络模型时，如果训练样本较少，为了防止模型过拟合，Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意为：通过阻止特征检测器的共同作用来提高神经网络的性能。本篇博文就是按

原文章:https://my.oschina.net/gujianhan/blog/225241

RNN展开网络如下图RNN展开结构.jpgRNN节点结构.jpg现令第t时刻的输入表示为,隐层节点的输出为,输出层的预测值,输入到隐层的权重矩阵,隐层自循环的权重矩阵,隐层到输出层的权重矩阵,对应的偏执向量分别表示为,输入层的某一个节点使用i标识，如,类似的隐层和输出层某一节点表示为。这里我们仅以三层网

http://blog.youkuaiyun.com/v_july_v/article/details/51812459

1.什么是决策树决策树是一种决策支持工具，通过使用树型图方式（可以是二叉树或非二叉树）展示尽可能的结果。1.1 决策规则决策树是线性决策，其每个非叶节点表示一个特征属性上的判断，叶节点表示出现的结果。决策树的决策过程（即每个分支）是从决策树的根节点开始，待测数据与决策树中的特征节点进行比较，并按照比较结果选择下一个比较节点，直到叶节点作为最终的决策结果。可以表示为：If

http://www.cnblogs.com/charlotte77/p/5629865.html