Anne033的博客

综上所述，Wasserstein距离其实就是：把一个分布P变换到另一个分布Q，这么多种联合分布(γ1\gamma1γ1γ2\gamma2γ2γ3\gamma3γ3…)里面，可以使Exy∼γ∣∣x−y∣∣Exy∼γ​∣∣x−y∣∣，最小的那个期望值。我bb完了，懂得都懂。原文链接：https://blog.youkuaiyun.com/qq_40394402/article/details/109565803。

MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）

我们在做机器学习、深度学习或自然语言处理等项目时，经常采用什么方法采样呢？大家马上会想到吉布斯 Gibbs 采样，今天我们来分享一种比较实用的采样方法：马尔可夫蒙特卡罗方法，吉布斯采样是其中的一种。Markov chain Monte Carlo methods中的 Markov chain 是因为这些方法生成的序列都是马尔科夫链，每个值都只和自己前后几个值有关； Monte Carlo是因为这些方法是用随机化的方法解决确定性问题，从已知概率分布中采样出一系列符合这个分布的样本。要弄懂MCMC的原理，我

在强化学习中，马尔科夫决策过程（Markov decision process, MDP）是对完全可观测的环境进行描述的，也就是说观测到的状态内容完整地决定了决策的需要的特征。几乎所有的强化学习问题都可以转化为MDP。本讲是理解强化学习问题的理论基础。1. 马尔科夫过程 Markov Process1.1 马尔科夫性 Markov Property某一状态信息包含了所有相关的历史，只要当前状态可知，所有的历史信息都不再需要，当前状态就可以决定未来，则认为该状态具有马尔科夫性。可以用下面的状态转移概率

从名字我们可以看出，MCMC由两个MC组成，即蒙特卡罗方法（Monte Carlo Simulation，简称MC）和马尔科夫链（Markov Chain ，也简称MC）。Monte Carlo （蒙特卡罗）的核心是寻找一个随机的序列1. 背景给定一个的概率分布 P(x), 我们希望产生服从该分布的样本。前面介绍过一些随机采样算法（如拒绝采样、重要性采样）可以产生服从特定分布的样本，但是这些采样算法存在一些缺陷（如难以选取合适的建议分布，只适合一元随机变量等）。下面将介绍一种更有效的随机变量采样方

1. 求离散马尔科夫链的平稳分布的两种解法假设离散马尔科夫链的转移矩阵为P PP，平稳分布为π \piπ，则平稳分布满足：Pπ=πP \pi = \piPπ=π1.1 迭代法求平稳分布的一种简单方法是迭代法，即随机初始化初始分布π 0 \pi_0π0​ ，利用上式不断迭代求解下一时刻的状态分布直到状态分布收敛，则求得平稳分布。"""通过markov_marix迭代得到`平稳分布`. """pi0 = zeros(num)pi0[0] = 1pi = list([pi0])for

一个泊松过程可以分解成一系列 i.i.di.i.di.i.d 的指数分布随机变量相加，如果把指数分布换成其他 i.i.di.i.di.i.d 的分布就得到了更新过程。更新过程本身是泊松过程的一种扩长，同时更新过程也可以发展出一套更新理论，包括更新方程等。https://zhuanlan.zhihu.com/p/59876036...

文章结构如下：1: MCMC1.1 MCMC是什么1.2 为什么需要MCMC2： 蒙特卡罗2.1 引入2.2 均匀分布，Box-Muller 变换2.3 拒绝接受采样（Acceptance-Rejection Sampling）2.4 接受拒绝采样的直观解释2.5 接受拒绝采样方法有效性证明2.6 接受拒绝采样方法python实现2.7 蒙特卡罗方法小结3： 马尔科夫链3.1 马尔科夫链概述3.2 马尔科夫链模型状态转移矩阵的性质3.3 基于马尔科夫链采样3.4 马尔科夫链采

1.什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越大。一滴墨水滴在清水中，部成了一杯淡蓝色溶液热水晾在空气中，热量会

sigma代数其实是个集合系,它保证在这里头的集合,不管如何做交差并补,随便做可列次,结果都还在这个系里面.这对运算的良定义是很关键的.https://www.zhihu.com/question/36392820https://zhuanlan.zhihu.com/p/38119668...

在概率论中，经常出现PDF、PMF和CDF，那么这三者有什么区别与联系呢？1. 概念解释PDF：概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数。PMF : 概率质量函数（probability mass function), 在概率论中，概率质量函数是离散随机变量在各特定取值上的概率。CDF : 累积分布函数 (cum

在概率论里面，大家都会碰到一类问题，就是涉及到这样一类题目：一般来说，这种类型的题目有两种方法来解决，第一种就是二重积分法；第二种就是应用卷积公式。下面我给大家列出了卷积公式：但是呢，我一般给我的学生推荐，我只会强烈推荐利用卷积公式，没有对比就没有伤害，我下面对一个例子应用两种方法来解决一下，大家自见分晓(●’◡’●)方法一:“二重积分”法方法二：“卷积公式”法这样一看，用卷积公式确实要简单很多了，对比也是很明显的。主要参考资料说明：主要参照《概率论与数理统计》第二版，四川

连续时间信号 ： 在时间t 上是连续的值 时间连续， 幅值连续。 定义为模拟信号。 时间连续， 幅值离散。 比如脉冲信号。离散时间信号 ： 在时间t上 是离散的值 时间离散， 幅值连续。 （在任意两个离散时间点上，两个幅值差无限小）。 比如抽样信号。 时间离散， 幅值离散。 定义为数字信号。模拟信号：载荷消息的信号参量取值是连续（不可数、无穷多）的，这里连续的含义是指信号载荷的消息的参量连续变化，在某一取值范围内可以取无穷多个值，而不一定在时间上也连续， 比如未经量化的采样信

第一天尝试

1. 先验概率，条件概率与后验概率2. Probability(概率) vs Likelihood(似然)Probabiity（概率）：给定某一参数值，求某一结果的可能性Likelihood（似然）：给定某一结果，求某一参数值的可能性3. 似然函数在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数可以理解为条件概率的逆反。4. 区别阐释概率（probability)和似然（likelihood)，都是指可能性，都可以被称为概率，但在统计应用中有所区别，

瑞士数学家雅克·伯努利(Jacques Bernoulli,1654～1705)首次研究独立重复试验(每次成功率为p)。在他去世后的第8年(1713年)，他侄子尼克拉斯出版了伯努利的著作《推测术》。在书中，伯努利指出了如果这样的试验次数足够大，那么成功次数所占的比例以概率1接近p。 雅克·伯努利是这个最著名的数学家庭的第一代。在后来的三代里，一共有8到12个伯努利，在概率论、统计学和数学上做出了杰出的基础性贡献。1. 伯努利分布伯努利分布(Bernoulli distribution)又名两点分布或0

正态分布（台湾作常态分布，英语：normal distribution）又名高斯分布（英语：Gaussian distribution），是一个非常常见的连续概率分布。正态分布在统计学上十分重要，经常用在自然和社会科学来代表一个不明的随机变量。若随机变量XXX服从一个位置参数为μ\muμ、尺度参σ\sigmaσ的正态分布，记为：正态分布的数学期望值或期望值μ\muμ 等于位置参数，决定了分布的位置；其方差σ2\sigma ^{2}σ2的开平方或标准差σ\sigmaσ等于尺度参数，决定了分布的幅度。

日常生活中，大量事件是有固定频率的。某医院平均每小时出生3个婴儿某公司平均每10分钟接到1个电话某超市平均每天销售4包xx牌奶粉某网站平均每分钟有2次访问它们的特点就是，我们可以预估这些事件的总数，但是没法知道具体的发生时间。已知平均每小时出生3个婴儿，请问下一个小时，会出生几个？有可能一下子出生6个，也有可能一个都不出生。这是我们没法知道的。泊松分布就是描述某段时间内，事件具体的发生概率。上面就是泊松分布的公式。等号的左边，P 表示概率，N表示某种函数关系，t 表示时间，n 表示数量

1 空间点过程与随机测度（一）：从数星星说起1.1 数星星的数学小时候，在晴朗的夜里，我喜欢仰望星空，去数天上的星星——那是无忧无虑的快乐童年。长大后，当我们再度仰望苍穹，也许会思考一个不一样的问题：这点点繁星的分布是不是遵循什么数学规律呢？这个问题也许问得太不解风情了。但是，在这篇文章里，我希望向大家表达的是，这个问题会把我们带入一个比星空更为美丽的数学的世界。探讨这个问题，不需要什么高深的方法。还是和我们小时候一样，我们从“数星星”做起。相比于整个夜空，每个星星是在太小太小了，所以，我们可以做一