撒旦先生的博客

这几天看了那么多采样, 回过头来, 仍然不知道最基本的 Normal Distribution 怎么采样. 于是查看, 有很多种采样方法, 不过多数还是要, 或者使用 rejection method, 似乎只有Box–Mullermethod 是精确的解析式方法.但 Wikipedia 对其的介绍很简洁, 看不出个所以然来. 即使是, 也讲的一头雾水. 最终看到 B 站视频, 才豁然开朗, 这里记录其推导过程.

torch.distribution 模块实现了大多数常见的分布. 对于复杂的分布, 你可以继承基类 Distribution 自己实现. 如果参数设置为 requires_grad=True; 不必纠结梯度是怎样的, 它的计算要根据简单分布的 Sampling 和 Transform 参数两部分得到.

已知 X,Y 相互独立, 都服从 Gamma 分布, 请推导 X/(X+Y) 服从 Beta 分布.

von Mises Fisher 分布的代码解析.

von Mises Fisher Distribution 公式推导

von Mises Fisher Distribution 公式推导

von Mises-Fisher 分布的均值、熵、KL 散度以及采样等的 PyTorch 实现.

最近接触到 von Mises–Fisher distribution, 其概率密度函数归一化常数中含有第一类修正贝塞尔函数. 查阅 Wikipedia, 其公式有定义式和积分式. 其计算比较麻烦, 更不用说求导了, 好在有递推式, 本文对其递推式进行推导。

其实不必担心从右边一点点处挖的时候不够挖，你可以假设后面的即使不够，它也从右边的右边挖过了，再不然假设从右端向左扫描，向左推挖，总能符合实际意义】它们的直观解释差别还挺大的，前者是时刻保持两者扫描过的。，若想运输 mass 以使扫描过的测度相同，则需要的 mass 量为。（还可以从右侧想，右侧的测度分文没动，左边又一样，这个差可不就是。依然从其右侧一点点挖，以使扫描过的部分测度一样，挖的量为。先看第一个式子，它是扫描 q 进行积分的，进行积分的，如下图，扫描至。，对应着已扫描过的空间的测度。

概率密度函数转换！

下表提供了对偶问题的具体构建方法，这应该是一个结论，但我们不知所以然。当然，照着做确实能把一个线性规划问题转换为其对偶问题，但 why？这只是对标准形式的推导，稍微变化就可以对照上表中的各种情况。这可能经过练习熟练后，才适合这么做，否则一头雾水，也容易出错。单凭这么一段文字，很难想象到底发生了什么，只知道。将原线性规划问题变为了另一个线性规划问题。，那么按照构建表，对偶问题应该是。，就得到了表右边对偶问题。(2) 对于不等式条件。【本质上是拉格朗日对偶】(1) 对于等式条件。

积分变换：通过积分将一个函数从它的原始函数空间映射到另一个函数空间，在新的函数空间中，原始函数的一些性质可能比在原始函数空间中更容易表征和操作。

先看 Wikipedia 中对 Hilbert Spaces 的 Definition：首先最熟悉的希尔伯特空间是欧式空间，以R3为例，它定义了点积，给定xy∈R3，它们的点积为：点积满足如下性质：即对称性、线性和正定性。这一段讲述什么是内积：像点积这样的运算，它作用在两个向量上，且满足以上三条性质，就叫内积。给向量空间安装一个内积，就成了内积空间。有限维的内积空间是一个 Hilbert Space。