撒旦先生的博客

最近看到一些点云相关的工作, 他们在文章中展示的点云结果很好看, 但自己用 matplotlib 画的结果却很丑, 发邮件问作者才知道他用了一个渲染工具 Mitsuba2PointCloudRenderer. 它用到了渲染软件 Mitsuba2.

很早以前就遇到了 BatchNorm 和 LayerNorm, 当时只是粗略地知道它们是对数据进行了标准化: x = (x−μ)/σ. 这当然很简单, 但实际的数据是比较复杂的. 对于 CV 任务的数据 image 而言, 一个 batch 的数据通常是这样的: [B, C, H, W]; 对于 NLP 任务的数据 sentence 而言, 一个 batch 的数据通常是这样的: [B, T, D]. 那 XXNorm 是怎么算的? 肯定不是一下算整个 batch 的所有数的.

这几天看了那么多采样, 回过头来, 仍然不知道最基本的 Normal Distribution 怎么采样. 于是查看, 有很多种采样方法, 不过多数还是要, 或者使用 rejection method, 似乎只有Box–Mullermethod 是精确的解析式方法.但 Wikipedia 对其的介绍很简洁, 看不出个所以然来. 即使是, 也讲的一头雾水. 最终看到 B 站视频, 才豁然开朗, 这里记录其推导过程.

torch.distribution 模块实现了大多数常见的分布. 对于复杂的分布, 你可以继承基类 Distribution 自己实现. 如果参数设置为 requires_grad=True; 不必纠结梯度是怎样的, 它的计算要根据简单分布的 Sampling 和 Transform 参数两部分得到.

已知 X,Y 相互独立, 都服从 Gamma 分布, 请推导 X/(X+Y) 服从 Beta 分布.

von Mises Fisher 分布的代码解析.

von Mises Fisher Distribution 公式推导

von Mises Fisher Distribution 公式推导

概率密度函数转换！

下表提供了对偶问题的具体构建方法，这应该是一个结论，但我们不知所以然。当然，照着做确实能把一个线性规划问题转换为其对偶问题，但 why？这只是对标准形式的推导，稍微变化就可以对照上表中的各种情况。这可能经过练习熟练后，才适合这么做，否则一头雾水，也容易出错。单凭这么一段文字，很难想象到底发生了什么，只知道。将原线性规划问题变为了另一个线性规划问题。，那么按照构建表，对偶问题应该是。，就得到了表右边对偶问题。(2) 对于不等式条件。【本质上是拉格朗日对偶】(1) 对于等式条件。

为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读之，下面是第三篇。认知有限，有不理解之处，也可能有理解不当或错误之处，请读者多多指教。

为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读之，下面是第三篇。认知有限，有不理解之处，也可能有理解不当或错误之处，请读者多多指教。

先看 Wikipedia 中对 Hilbert Spaces 的 Definition：首先最熟悉的希尔伯特空间是欧式空间，以R3为例，它定义了点积，给定xy∈R3，它们的点积为：点积满足如下性质：即对称性、线性和正定性。这一段讲述什么是内积：像点积这样的运算，它作用在两个向量上，且满足以上三条性质，就叫内积。给向量空间安装一个内积，就成了内积空间。有限维的内积空间是一个 Hilbert Space。

这篇博客在讲述切向量与切空间时太过简略，以至于把我困住，甚至让我的大脑内部产生激烈的矛盾而头疼，于是借了本书《微分流形初步》(第二版，陈维桓)，加以辅助，才得以理解了切向量。

设。

比较扯的是，既然是根据度量空间中开集的性质对其进行抽象推广，那你也起个新的名字啊，就好比我们现在对老虎很感兴趣，发现了老虎的一些特点：有锋利的牙齿、有锋利的爪子、奔跑速度很快，根据这三个特点进行抽象，我们得到一个新概念 “老虎”，以后我们见了符合这三个特点的猫咪、狮子啥的，都称为 “老虎”。。。而不是叫猫科动物，是不是很别扭？

为学习最优传输问题（Optimal Transport），拜读了博客《最优运输（Optimal Transfort）：从理论到填补的应用》，博文里简要介绍了三篇经典论文，本系列博文打算精读。

最大期望算法(Expectation-Maximization Algorithm, EM)，或 Dempster-Laird-Rubin 算法，是一类通过迭代进行极大似然估计的优化算法，通常用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计。具体就不说了，看了李航《统计学习方法》讲的 EM 算法，讲得很棒，但对抛硬币的例子迷茫了好久，书中只给了答案，没有具体的推导过程。后来，琢磨抛硬币的计算时，却陷入苦恼。

很多流行的机器学习包（如 TensorFlow、PyTorch 等）都实现了常见的梯度下降优化算法，我们通常以黑盒的方式使用这些优化器，但对他们的背后的原理及优缺点缺乏足够的理解。模型的目标函数是Jθ，其中θ是其参数，为了让目标函数最小化，需要根据输入数据更新参数。该如何更新呢？？为了方便描述，先看θJθΔθ≈Jθ∇θ​Jθ∗Δθ其中∇θ​Jθ是目标函数关于参数θ的梯度，当Δθ→0时，等号成立，下面就假设等号成立。JθΔθ−Jθ∇。

从向量内积计算的角度解释内积是怎么回事

证明均匀分布熵最大

本文翻译自Notes on Optimal Transport，原文以生动的故事简要阐述了 Optimal Transport 的基本概念、求解方法、具体应用等，没有太过复杂的公式，非常适合新手入门。本文将原文翻译成中文，并进行精简、添加自己的理解，改动较大，如有理解不当或错误之处，还请指出。由于简化的原因，可能失去一定的故事性，建议先阅读更生动的原文。

对《统计学习方法》（李航）第3章（k近邻法）进行注解。书中的描述不够清楚，有时候很模糊，甚至有错，花了三天才搞懂树的构造和搜索，到底怎么回事。包括：近似误差和估计误差概念；KD树的构造与搜索的一些细节问题；python代码实现，完整代码已打包。