qy20115549的博客

本文作者：合肥工业大学 电子商务研究所 钱洋 email：1563178220@qq.com 。内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录论文来源相关介绍单稀疏模型双稀疏模型模型推理Java编程实现的细节论文来源Lin T, Tian W, Mei Q, et al. The dual-sparse topic model: mining focused topics ...

简介Collapsed Variational Inference(CVI)来源于下面这篇文章：Teh Y W, Newman D, Welling M. A collapsed variational Bayesian inference algorithm for latent Dirichlet allocation[C]//Advances in neural information ...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载。案例来源本博客讲解的案例来源于于Journal of the American Statistical Association期刊(顶刊)上的内容：Blei D M, Kucukelbir A, McAuliffe J D. Variational i...

变分推断以前都是搞Gibbs采样，最近找国外导师的时候发现有必要学习一下变分推理。平均场理论来源于物理学，是一种研究复杂多体问题的方法，将数量巨大的互相作用的多体问题转化成每一个粒子处在一种弱周期场中的单体问题。如果将其应用到图模型中，可以将相互作用的多体看成相互作用的变量：变分贝叶斯推断LDA的变分推断Supervised topic models变分推断...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 。以下内容是个人的论文阅读笔记，内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录论文来源论文学习笔记论文来源来自于2018年Machine Learning期刊上的论文。Su S, Wang Y, Zhang Z, et al. Identifying and tracking topic...

论文来源文章介绍模型及推理关于源码论文来源Rakesh V, Ding W, Ahuja A, et al. A Sparse Topic Model for Extracting Aspect-Specific Summaries from Online Reviews[C]//Proceedings of the 2018 World Wide Web Confere...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章来源 Zaheer M, Ahmed A, Smola A J. Latent LSTM Allocation: Joint Clustering and Non-Linear Dynamic Modeling of Sequence Dat...

原因今天晚上，老师在看LDA数学八卦的时候，问我一个问题，如下图所示： 这个多项式分布的参数，采用极大估计是怎么求的呢?当时想了想还真不知道，于是在网上找了资料，学习了一下，特此记录。公式推导很多情况下，假定一个变量XX有kk个状态，其中k>2k>2,每个状态假定的可能性为p1,p2,⋯,pkp_{1},p_{2},\cdots ,p_{k}，且∑ki=1pi=1\sum _{i=1}

论文来源 Iwata T, Hirao T, Ueda N. Topic Models for Unsupervised Cluster Matching[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 30(4): 786-795.作者是日本人Iwata T，也是个机器学习大牛，每年都有一系列的文章出来，还是很厉害的。

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。 未经本人允许禁止转载。论文来源Nguyen D Q, Billingsley R, Du L, et al. Improving topic models with latent feature word representations[J]. Transacti...

math3实现Gamma函数在math3中提供了Gamma函数：Gamma.gamma(double a)log2 Gamma函数 private double logOn2Gamma(double value) { return com.aliasi.util.Math.log2Gamma(value); }beta函数的形式以下为beta函数的形式：math3实现be...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录指数分布族的概念典型分布转化Bernoulli分布Poisson分布Gaussian分布多元Gaussian分布Multinomial分布变分推断应用参考内容指数分布族的概念指数分布族是一系列分布的统称，包含连续和离散的相关分布。例如，正太分布...

本文作者：合肥工业大学 电子商务研究所 钱洋 email：1563178220@qq.com 。内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录论文来源模型论文来源Ramage D, Manning C D, Dumais S. Partially labeled topic models for interpretable text mining[C]//Proceedin...

本文作者：合肥工业大学 电子商务研究所 钱洋 email：1563178220@qq.com 。内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录HDP简介有向图表示CRF的关键HDP的采样编程角度解读采样桌子采样主题完整代码参考HDP简介Teh Y W, Jordan M I, Beal M J, et al. Sharing clusters among related g...

变分推断简介变分推理的目标是近似潜在变量(latent variables)在观测变量（observed variables）下的条件概率。解决该问题，需要使用优化方法。在变分推断中，需要使用到的一个重要理论，是平均场理论，读者可以参考我的另外一篇博客：https://qianyang-hfut.blog.youkuaiyun.com/article/details/86644192变分推断等价于最小化...

模型如下为模型：这个模型中，参数和协方差服从正太逆Wishart先验。根据模型，给出所有变量的联合似然，即：公式推理因变量和权重的联合概率分布可表示为：求对数：其中，EM求解令：则：编程下面，给出了EM算法迭代的核心代码：/**EM UPDATE * @author Qianyang * ****/public static Map<In...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 。以下内容是个人的论文阅读笔记，内容可能有不到之处，欢迎交流。未经本人允许禁止转载。文章目录算法来源算法简介背景Labeled LDA模型参数学习编程实现算法来源这个算法来源于：Ramage D, Hall D, Nallapati R, et al. Labeled LDA: A supervis...

文章目录背景math3求解行列式的值背景在编写多元正太分布函数和多元t分布函数时，常遇到要求解，协方差矩阵对应行列式的值。math3求解行列式的值在math3中提供了求解行列式值的方法，下面将以一个具体案例，介绍其使用。如下为Java代码：package test.SundataPro;import org.apache.commons.math3.linear.Array2...

问题背景最近，在使用Java实现一个个性化推荐算法时，遇到了非常常见的问题。实现的算法为：Wang C, Blei D M. Collaborative topic modeling for recommending scientific articles[C]//Proceedings of the 17th ACM SIGKDD international conference on Kn...

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。未经本人允许禁止转载文章目录问题背景编程实现问题背景最近，在独立实现Gaussian LDA算法时，遇到了Multivariate t distributions。Gaussian LDA对应的论文是：Das R, Zaheer M, Dyer C. Gaussian l...

论文来源论文来自于自然语言处理会议ACLJagarlamudi J, Daumé III H, Udupa R. Incorporating lexical priors into topic models[C]//Proceedings of the 13th Conference of the European Chapter of the Association for Computat...

论文来源Zuo Y, Wu J, Zhang H, et al. Topic modeling of short texts: A pseudo-document view[C]//Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. ACM, 2016:

轮盘赌介绍 算法实现package test;public class Test { public static double[] multiPros; public static void main(String[] args) { multiPros = new double[4]; multiPros[0] = 0.14;

基础类主题模型Hofmann T. Probabilistic latent semantic indexing[C]//Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval. ACM, 1999: 50-57.Ble

本篇的论文来自：Wang C, Blei D M. Decoupling sparsity and smoothness in the discrete hierarchical dirichlet process[C]//Advances in neural information processing systems. 2009: 1982-1989.本博客作者：合肥工业大学 管理学院 钱洋 e

如下程序为n=100，p=0.9的二项分布采样，共采样10000次package function;import org.apache.commons.math3.distribution.BetaDistribution;import org.apache.commons.math3.distribution.BinomialDistribution;import org.apache.com

关于beta分布的介绍，请看我的另外一篇博客:http://blog.youkuaiyun.com/qy20115549/article/details/53307535本文将使用math3提供的工具包，对beta分布进行采样。如下程序是对alpha=81，beta=219的beta分布函数，进行抽样，共采样10000次。package function;import org.apache.commons.ma

目录Dirichlet Process简介Stick-Breaking构造Dirichlet Process简介DP是一种非参数贝叶斯模型, 其优点是参数的个数和性质灵活可变, 可通过模型和数据来计算数目, 近年来它已成为机器学习和自然语言处理研究领域中的一个研究热点。举个例子，我们在使用聚类方法k-means时，需要指定k的值(聚成k个簇)；在使用LDA时需要指定主题的数目k，但通过DP过程这种

参考论文Modeling documents with topicsModeling authors with wordsThe author-topic modelGibbs sampling algorithms详细经典LDA模型目标分布及参数Author Model目标分布及参数Author-topic model目标分布及参数本文作者：合肥工业大学 管理学院 钱洋 email：

原文来自师兄的博客：http://blog.youkuaiyun.com/wjj5881005/article/details/53320577关于经典LDA的thetaCorrelated Topic Model中的thetaCTM的Gibbs sampling1 CTM中关于主题zz的采样2 CTM中关于文档主题分布参数eta的后验分布3 CTM中关于文档主题分布参数eta的Gibbs sampl

LDA图模型表示LDA所要求得目标分布联合概率分布求解参考文献本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 欢迎交流。LDA图模型表示LDA所要求得目标分布关于LDA的理解，可以去看《LDA数学八卦》以及Heinrich G. Parameter estimation for text analysis[J]. University of Leip

原文来自师兄的博客：http://blog.youkuaiyun.com/wjj5881005/article/details/53320403多元正态分布多元正态分布的条件密度多元正态分布多元正态分布的密度函数如下 ： fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{

简介无监督学习的目的是从观测数据中，发掘潜在的结构(latent structure)。无监督学习算法的一个关键问题是如何确定潜在结构的数目，如聚类中的类的数目，变量的数目等。以聚类为例，如果能够基于数据之间的内在关系，自动学习类的数目，要比通过经验设置一个数目要好的多。相比参数化的贝叶斯模型，非参贝叶斯有其独特的地方，也是近些年来，机器学习比较火的一种方法，如DPMM(Dirichlet proc

文章来源Tkachenko M, Lauw H W. Comparative Relation Generative Model[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(4): 771-783. 2017年TKDE上的文章，以下仅是个人理解，仅供参考，详细内容请学习原文。个人想法从评论中找

蒙特卡罗方法采样算法  蒙特卡罗方法(Monte Carlo Simulation)是一种随机模拟(或者统计模拟)方法。  给定统计样本集，如何估计产生这个样本集的随机变量概率密度函数,是我们比较熟悉的概率密度估计问题。 求解概率密度估计问题的常用方法是最大似然估计、最大后验估计等。但是，我们思考概率密度估计问题的逆问题:给定一个概率分布p(x)，如何让计算机生成满足这个概率分布的样本。 这个问

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。 未经本人允许禁止转载。

论文来源Yin J, Wang J. A dirichlet multinomial mixture model-based approach for short text clustering[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining.

论文来源Das R, Zaheer M, Dyer C. Gaussian lda for topic models with word embeddings[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joi

Sentence-LDA的相关论文：Jo Y, Oh A H. Aspect and sentiment unification model for online review analysis[C]//Proceedings of the fourth ACM international conference on Web search and data mining. ACM, 2011: 81

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。 未经本人允许禁止转载。论文来源Nguyen D Q, Billingsley R, Du L, et al. Improving topic models with latent feature word representations[J]. Transactions of