jankim1988的专栏

Kullback-Leibler散度（KL散度）：考虑某个未知分布p(x)，假定我们已经使用一个近似的分布q(x)对它进行了建模。如果使用q(x)来建立一个编码体系，用来把x的值传送给接收者，那么，由于使用q(x)而不是真实分布p(x)，因此在具体化x的值时，需要一些附加信息，KL散度表示的就是所需平均的附加信息量。KL(p || q) >= 0，当且仅当p(x) = q(x)时等号成立 这个公式

Stirling公式： ln N! ≈ N*lnN - N Jensen不等式： f(x) 为凸函数， 0≤ λi ≤ 1且 Sum(λi) = 1 ，离散型及连续型分别如下吉布斯不等式及其证明

深入理解AUChttps://tracholar.github.io/machine-learning/2018/01/26/auc.html在机器学习的评估指标中，AUC是一个最常见也是最常用的指标之一。 AUC本身的定义是基于几何的，但是其意义十分重要，应用十分广泛。 本文作者深入理解AUC，并总结于下。AUC是什么 AUC的概率解释 概率解释的证明 AUC的排序特性 ...

这篇博文中直观上讲解了拉格朗日乘子法和 KKT 条件，对偶问题等内容。 首先从无约束的优化问题讲起，一般就是要使一个表达式取到最小值：minf(x)minf(x) 如果问题是maxf(x)maxf(x)也可以通过取反转化为求最小值min−f(x)min−f(x)，这个是一个习惯。对于这类问题在高中就学过怎么做。只要对它的每一个变量求导，然后让偏导为零，解方程组就行了。...