ustbfym的博客

RNN及其公式推导 RNN即循环神经网络，循环神经网络的种类有很多，本文主要是对基本的神经网络进行推导。一开始对推导很晕，在阅读了许多资料之后，整理如下。结构

机器学习中的范数L0范数 LO范数是向量中非零元素的数目如果采用L0范数来规划化一个参数矩阵的，就是为了让矩阵稀疏，希望大部分权值都为0。但是，这个术语在数学意义上是不对的，非零元素的数目不是范数，因为对向量缩放α\alpha 倍不会改变该向量的非零数目。L1范数 L1范数是向量中各个元素的绝对值的和，也叫做『稀疏规则算子』L1范数能够实现权值稀疏，任何的规范化的算子，如果他在Wi=

从两个例子理解EM算法本文是作者对EM算法学习的笔记，从EM算法出发介绍EM算法，为了更好理解，用两个应用EM算法求解的例子进一步解释EM的应用。EM算法EM算法引入EM算法，指的是最大期望算法（Expectation Maximization Algorithm，期望最大化算法），是一种迭代算法，在统计学中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似...

EM推导PLSA模型回归EM算法以上是EM算法的框架，基本思想是：E步骤：求当隐变量给定后当前估计的参数条件下的后验概率M步骤：最大化complete data对数似然函数的期望，把E步当做是已知值，得到新的参数值不断迭代以上步骤直到收敛。plsa模型简介PLSA应用于信息检索、过滤、自然语言处理等领域，考虑到词分布和主题分布，可以看做概率化的矩阵分解，采用...

变分推断变分推断就是用简单的分布q去近似复杂的分布p。以上这句话是对变分推断最直接的理解。那么，为什么要选择用变分推断？因为，大多数情况下后验分布很难求。如果后验概率好求解的话我们直接采用EM就可以。当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布。特别的，如果我们选择的q是指数族内的分布，更易于积分求解。Evidence Lower Bound(EL

证明 gibbs sampling 是接受率为1 的Metropolis Hasting 特例首先回顾下 gibbs sampling 以及 MH算法Metropolis Hasting Algorithmgibbs sampling 下面来证明 gibbs sampling是接受率为1的Metropolis Hasting的特例： 在gibbs sampling

sampling学习小结本文是在阅读prml的第11章后，写的一个总结。 首先要说说为什么需要采样。通常没我们会遇到很多问题无法用分析的方法求得精确解，例如待求问题很复杂。遇到这种情况的时候，人们通常会采用一些方法得到近似解，其中随机模拟就是一类近似求解的方法，采样就是随机模拟的核心。-基本方法： 从基本概率分布产生新变量分布,假设有某分布的分布函数是F(x

Online LR—— FTRL 算法理解Online Learning定义Online Learning是一种模型训练的方法，能够根据线上反馈数据，实时快速的进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。Online Learning的流程包括：将模型预测结果展现给用户，然后收集用户的反馈数据，再来训练模型，形成闭环的系统。与传统训练方法的区别传统的训练方法

在使用git 对源代码进行push到gitHub时可能会出错，信息如下 如何解决failed to push some refs to git 此时很多人会尝试下面的命令把当前分支代码上传到master分支上。 $ git push -u origin master 但依然没能解决问题如何解决failed to push some refs to git 出现错误的主要原因是githu

本文是对VAE的loss的详细推导先上两个图解释下VAE在这两个的基础上，我们可以定义data likelihood:为什么要采用变分由于MCMC算法的复杂性，对于qϕ(z|x)q_{\phi}(z|x)，如果对每个数据点都要大量采样，在大数据情况下是难以实现的，因此需要找一个近似的方法。变分推理的思想就是寻找一个容易处理的分布使得与目标分布尽量接近来代替它。上述公式的第二部分就是利用pθ(z)p

tensorflow中的逆卷积操作在tensorflow中逆卷积

本文的应用是stanford corenlp多线程的使用，在对数据进行分词、词性标注和命名实体识别的过程数据量较大，处理时间较长，单线程已经不能满足需求。这个使用场景是，读取文本，每一行是一个json类型的字符串，需要将其中部分文本进行词性标注等处理，然后再写到新的一个文件中（**多线程读同一个文件，处理后，多线程写同一个文件**）- java 使用corenlpjava中的多线程下图所示是一个线

首先要说下之前用的是json lib那个包，在应用过程中有个bug, 于是选用了轻量级的解析工具包org.json.jar在用json lib这个包时，同时需要你加入其他的依赖包，需要注意各依赖包之间的版本兼容。在应用过程中，出现如下问题： JSONObject obj = new JSONObject(); obj.put("test_string", "null") //put进去的是字

CRF Layeremission score: 这个分数来自于BiLSTM层，即是下图黄色框框中的值 transition score 表示从一个状态转移到另一个状态的可能性，在模型开始训练前随机初始化，在训练的过程中实现更新。loss function LossFunction=PrealpathP1+P2+...+PNLossFunction = \frac{P_{realpath}}{

tensorflow中的CRF先说说本文背景，是作者需要用bilstm+crf实现sequences labeling,因此调研了tensorflow中如何实现CRF。几个方法tf.contrib.crf.crf_log_likelihoodcrf_log_lmelihood （ inputs ， tag_indices ， sequence_leng

tensorflow实现迁移学习实例 本文主要是总结利用tensorflow实现迁移学习的基本步骤。所谓迁移学习，就是将上一个问题上训练好的模型通过简单的调整使其适用于一个新的问题。比如说，我们可以保留训练好的Inception-v3模型中所有的参数，只替换最后一层全连接层。在最后一层全连接层之前的网络称之为瓶颈层（bottleneck）。持久化首先需要简单介绍下tensorflow中的持久化

tensorflow卷积神经网络例子 本文是对tensorflow教程中的cifar数据集卷积神经网络例子进行学习后的笔记，主要记录了一些相关方法的使用。

关于为什么pagerank能收敛pagerank的主要思想如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高如果一个PageRank值很高的网页链接到一个其他的网页，那么被链接到的网页的PageRank值会相应地因此而提高算法原理PageRank算法是互联网中的众多网页看做是一个有向图，如上图所示。算法过程是把网页...