北屿的博客

学好实变和测度论对机器学习是很有帮助的。对于暂时没有这些数学背景的同学，可以安全的把概率测度(probability measure)理解为概率分布(probability distribution)，只要关心的空间是。2个概率分布之间的距离有很多种描述方式，一个比较脍炙人口的是KL divergence:尽管它严格意义上不是一个距离(比如不满足对称性)。q只是p的一个微小平移，但当平移量趋于0时，KL却blow up了。其中是一个上的联合分布，必须同时满足和是其边缘分布。