Paul_Huang的专栏

统计学习方法第二章习题

消融实验

1. 初识EM、VI与VAE1.1. EM算法EM是一种从频率角度解决优化问题（常见的频率角度模型有：回归模型、SVM等）。EM常与MLE进行对比。MLE（极大似然估计）EM算法1.2 VI算法变分推断（Variational Inference）解决的是贝叶斯角度的积分问题，是贝叶斯推断的确定性近似推断。利用EM的思路，把log⁡p(x)\log p(x)logp(x)堪称ELBOELBOELBO和KLKLKL散度的结合。再把ELBOELBOELBO看成泛函，利用平均场

1. Introduction本小节主要介绍的是变分自编码器（Variational  AutoEncoder）\color{red}变分自编码器（Variational\;AutoEncoder）变分自编码器（VariationalAutoEncoder），VAE在之前的变分推断中就有介绍，具体在“随机梯度变分推断（SGVI）”中已进行描述。其中采用了重参数化技巧，也就是Amortized Inference。VAE在很多blog中都有详细的解释，这里只是很简单的描述其思想，希望可以抛转引玉。VAE中

机器学习-白板推导系列(三十)-生成模型(Generative Model)30.1 生成模型的定义前面所详细描述的模型以浅层的机器学习为主。本章将承上启下引出后面深度机器学习的部分。本小节，主要讲述的是什么是生成模型，它是不是只是生成样本，生成数据？它的任务是什么？精准的定义是什么？这个问题实际上在之前的章节中有过详细的介绍。这里更进一步总结。之前讲过的简单的生成模型，包括：高斯混合分布（GMM），GMM的主要任务是聚类，属于非监督学习；而监督学习中的生成模型，最简单的有朴素贝叶斯模型，主要任

31. 生成对抗网络(GAN，Generative Adversarial Network)31.1 什么是Generative Adversarial Network？什么是生成对抗网络（tive Adversarial Network，GAN）？顾名思义，首先它是一种生成模型，它的核心是对样本数据建模。下面举个例子来详细的说明一下什么是GAN。举例说明假设我是一个收藏家，但是，我最终的目标不仅仅是一个收藏家。我想高仿东西，成为工艺品大师（做仿品）。我要不惜一切代价的成为这方面的大师。但是，我

14. 隐马尔科夫(HMM，Hidden Markov Model)14.1 背景14.1.1 概念回顾机器学习派别机器学习大致可分两派别：频率派和贝叶斯派的方法。频率派频率派的思想就衍生出了统计学习方法，统计学习方法的重点在于优化，找loss function。频率派的方法可以分成三步：定义Model，比如f(w)=wTx+bf(w) = w^Tx+bf(w)=wTx+b；寻找策略strategy，也就是定义Loss function；求解，寻找优化的方法，比如梯度下降(GD)，随

13. 马尔可夫链&蒙特卡洛方法(MCMC)13.4 Gibbs Sampling13.4.1 概念思想假设有一随机向量X=(x1,x2,...,xd)\color{blue}X = (x_1,x_2,...,x_d)X=(x1​,x2​,...,xd​)，其中d\color{blue}dd表示有d\color{blue}dd维，每一维是一随机变量，且并不是常见的相互独立前提。那么，如果已知这个随机向量的概率分布，如何从这个分布中进行采样呢？我们的思想就是一维一维的来，在对每一维进行采样的

13. 马尔可夫链&蒙特卡洛方法(MCMC)

12 变分推断（Variational Inference）12.1 背景介绍这一小节的主要目的：为什么要使用Variational Inference，Inference到底有什么用。机器学习，我们可以从频率角度和贝叶斯角度两个角度来看，其中频率角度可以被解释为优化问题，贝叶斯角度可以被解释为积分问题。12.1.1 频率角度→优化问题频率角度\rightarrow优化问题频率角度→优化问题为什么说频率派角度的分析是一个优化问题呢？从回归和SVM两个例子上进行分析。数据集描述为：D={(xi,yi)

11. 高斯混合模型GMM（Gaussian Mixture Model）11.1 模型介绍这一章将进入到Guassian Mixture Model (GMM)的学习。而为什么要学习GMM呢？本节从几何角度、混合模型角度和样本生成过程角度来介绍GMM。几何角度从几何角度来看：GMM为加权平均（多个高斯分布叠加而成）。以一维数据为例，我们可以看到下图通过将多个单一的高斯模型加权叠加到一起就可以获得一个高斯混合模型，这个混合模型显然具备比单个高斯模型更强的拟合能力：一个混合高斯分布就是多个高斯

10. EM算法（Expectation Maximization）10.1 EM算法公式以及算法收敛性证明Expectation Maximization (EM)算法，中文名字叫做“期望最大”算法。是用来解决具有隐变量的混合模型的高斯分布\color{red}具有隐变量的混合模型的高斯分布具有隐变量的混合模型的高斯分布。对于简单的问题，可以直接得出参数的解析解，比如：MLE: p(X∣θ)p(X|\theta)p(X∣θ)。我们想要求解的结果就是：θMLE=arg⁡max⁡θlog⁡p(X∣θ).

9. 概率图模型之推断9.7 推断Inference-总体介绍

9. 概率图模型9.1 背景介绍9.1.1 概述什么是概率图机器学习的重要思想就是，对已有的数据进行分析，然后对未知数据来进行预判或者预测等。概率图是将概率的特征引入到图中\color{blue}概率的特征引入到图中概率的特征引入到图中，方便进行直观分析，即：有图有真相\color{red}有图有真相有图有真相。概率\color{red}概率概率：指概率模型，在机器学习中是对新的数据进行一些预测，对已知数据做聚类等。总的来说，就是对已有数据做一些操作，来预测未来。图\color{red}

机器学习-白板推导系列(三)-线性回归本章内容：1、最小二乘法（矩阵表达与几何意义）2、概率角度：最小二乘法⇔noise为Gaussian的MLE（最大似然估计）最小二乘法\Leftrightarrow noise为Gaussian 的 MLE（最大似然估计）最小二乘法⇔noise为Gaussian的MLE（最大似然估计）3、正则化{L1→LassoL2→Ridge(岭回归)\begin{cases} L1 \rightarrow Lasso\\ L2 \rightarrow Ridge(岭

8. 指数族分布8.1 背景8.1.1 指数族分布的基本形式

7. 核方法（Kernel Method）7.1 背景介绍7.1.1 概述问题引出线性可分的数据有时夹杂一点噪声，可以通过改进算法来实现分类，比如感知机的口袋算法和支持向量机的软间隔。但是有时候数据往往完全不是线性可分的，比如下面这种情况：在异或问题中数据往往不是线性可分的，但通过将数据映射到高维空间后就可以实现线性可分。可以认为高维空间中的数据比低维空间的数据更易线性可分。因此，对于异或问题，我们可以通过寻找一个映射ϕ(x)\phi (x)ϕ(x)将低维空间中的数据x映射成高维空间中的z

6. 约束优化问题

6. 支持向量机SVM（Support Vector Machine）6.1 引言简介SVM是什么? 先来看看维基百科上对SVM的定义:支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就

5. 降维5.1 简介过拟合在机器学习中，我们最关心的是泛化误差，在降低泛化误差的过程中，我们需要克服的最大困难便是过拟合（overfitting）。在线性回归中介绍过，解决过拟合的问题中，我们常用的方法是：增加数据量、正则化和降维。我们也曾用过Lasso和Ridge两种正则化方法，增加penalty使得www趋向于000，来消除一些特征。维度灾难（Curse of Dimensionality）Def：通常是指在涉及到向量的计算的问题中，随着维数的增加，计算量呈指数倍增长的一种现象。

4. 线性分类4.1 从线性回归到线性分类4.1.1 引言机器学习分类{频率派    →统计机器学习贝叶斯派→概率图模型\begin{cases} 频率派\ \ \ \ \rightarrow统计机器学习\\ 贝叶斯派\rightarrow概率图模型 \end{cases}{频率派    →统计机器学习贝叶斯派→概率图模型​上一章的线性回归(Linear  Regression)\color{blue}线性回归(L

频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计)贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)现代机器学习的终极问题都会转化为解目标函数的优化问题，MLE和MAP是生成这个函数的很基本的思想，因此我们对二者的认知是非常重要的。这次就和大家认真聊一聊MLE和MAP这两种estimator。1.频率学派和贝叶斯学派1.1 抽象理解频率学派和贝叶斯学派对世界的认知有本质

1.高斯分布假设有 NNN 个样本，每个样本都是 ppp 维向量的数据：XN×p=(x1,x2,⋯ ,xN)T,xi=(xi1,xi2,⋯ ,xip)TX_{N\times p}=(x_{1},x_{2},\cdots,x_{N})^{T},x_{i}=(x_{i1},x_{i2},\cdots,x_{ip})^{T}XN×p​=(x1​,x2​,⋯,xN​)T,xi​=(xi1​,xi2​,⋯,xip​)T且xi iidN(μ,Σ)x_i\mathop{~}\limits _{iid}