
基础机器学习算法理论与编程梳理
文章平均质量分 94
K近邻、朴素贝叶斯、逻辑回归、决策树、支持向量机等算法
HFUT_qianyang
刘老师指示:学如逆水行舟,不进则退;心似平原跑马,易放难收。不能放松,继续!
展开
-
如何直观的看出主题模型学习结果的好坏
本文作者:合肥工业大学 电子商务研究所 钱洋 email:1563178220@qq.com 。内容可能有不到之处,欢迎交流。未经本人允许禁止转载。文章目录主题模型的评估指标直观的展示如何构建类似的矩阵参考论文主题模型的评估指标在主题模型中,常见的评估指标包括Perplexity(即困惑度)以及Coherence Score、Topic Consensus等。而在计算Coherence Score有几种方案:其一是基于点互信息的,如下所示:使用这种方式,需要第三方数据来评估,如这里提及的Wi原创 2020-07-07 09:08:33 · 1806 阅读 · 1 评论 -
零膨胀负二项回归模型的使用 R语言
简介近期,需要使用零膨胀负二项回归模型。因此,找到R语言中的一个包:pscl。首先,使用Rstudio下载此包。install.packages("pscl")该软件发表于下面的期刊。Zeileis A, Kleiber C, Jackman S. Regression models for count data in R[J]. Journal of statistical software, 2008, 27(8): 1-25.详细使用可以参考:https://cran.r-project原创 2020-05-19 10:06:17 · 12237 阅读 · 4 评论 -
变分推断中的ELBO(证据下界)
变分推断简介变分推理的目标是近似潜在变量(latent variables)在观测变量(observed variables)下的条件概率。解决该问题,需要使用优化方法。在变分推断中,需要使用到的一个重要理论,是平均场理论,读者可以参考我的另外一篇博客:https://qianyang-hfut.blog.youkuaiyun.com/article/details/86644192变分推断等价于最小化...原创 2019-06-20 20:36:21 · 54802 阅读 · 6 评论 -
指数分布族(Exponential Family)相关公式推导及在变分推断中的应用
本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流。未经本人允许禁止转载。文章目录指数分布族的概念典型分布转化Bernoulli分布Poisson分布Gaussian分布多元Gaussian分布Multinomial分布变分推断应用参考内容指数分布族的概念指数分布族是一系列分布的统称,包含连续和离散的相关分布。例如,正太分布...原创 2019-02-14 11:25:04 · 20805 阅读 · 4 评论 -
变分推断之高斯混合模型(案例及代码)
本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流。未经本人允许禁止转载。案例来源本博客讲解的案例来源于于Journal of the American Statistical Association期刊(顶刊)上的内容:Blei D M, Kucukelbir A, McAuliffe J D. Variational i...原创 2019-01-29 19:15:47 · 16842 阅读 · 9 评论 -
变分推断以及在概率图模型中的应用
变分推断以前都是搞Gibbs采样,最近找国外导师的时候发现有必要学习一下变分推理。平均场理论来源于物理学,是一种研究复杂多体问题的方法,将数量巨大的互相作用的多体问题转化成每一个粒子处在一种弱周期场中的单体问题。如果将其应用到图模型中,可以将相互作用的多体看成相互作用的变量:变分贝叶斯推断LDA的变分推断Supervised topic models变分推断...原创 2019-01-25 12:36:25 · 10618 阅读 · 8 评论 -
决策树模型(ID3/C4.5/CART)原理和底层代码解读 学习笔记
本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流。未经本人允许禁止转载如下为个人的学习笔记,使用latex编写,再写成文本太麻烦,这里直接截图。个人笔记内容...原创 2019-06-17 10:31:21 · 1163 阅读 · 0 评论 -
理解偏差和方差(Bias-Variance)的Tradeoff
文章目录简介偏差(Bias)与方差(Variance)的概念过拟合和欠拟合Bias-Variance DecompositionGBDT 和 RF参考简介当在讨论预测模型时,预测的误差可以分解成两个子部分,即由偏差(Bias)引起的误差和由方差引起的误差。那么,模型相当于是在最小化偏差和方差之间权衡。理解Bias-Variance Tradeoff将有助于建模,进而避免过拟合和欠拟合。偏差(...原创 2019-06-13 10:12:39 · 2791 阅读 · 0 评论 -
LDA的Gibbs抽样详细推理与理解
LDA图模型表示LDA所要求得目标分布联合概率分布求解参考文献本文作者:合肥工业大学 管理学院 钱洋 email:1563178220@qq.com 欢迎交流。LDA图模型表示LDA所要求得目标分布关于LDA的理解,可以去看《LDA数学八卦》以及Heinrich G. Parameter estimation for text analysis[J]. University of Leip原创 2016-12-11 21:19:33 · 5441 阅读 · 1 评论 -
梯度下降、牛顿法、拟牛顿法详细介绍
最近,在看论文的时候,优化方法使用的是L-BFGS算法,所以我花了几天时间,看了梯度下降、牛顿法和逆牛顿法的原理及相关源码。以下我个人笔记,仅供大家参考。 内容原创 2018-03-31 17:44:07 · 1210 阅读 · 0 评论 -
K-Means原理详解与Java代码实现细节
K-Means原理介绍K-Means算法是一种非常常用的无监督聚类方法原创 2018-08-25 10:06:09 · 6787 阅读 · 11 评论