王小懒的学习笔记

KL距离，是Kullback-Leibler差异（Kullback-Leibler Divergence）的简称，也叫做相对熵（Relative Entropy）。它衡量的是相同事件空间里的两个概率分布的差异情况。并不是一种距离度量方式，其物理意义是：在相同事件空间里，概率分布P(x)对应的每个事件，若用概率分布 Q(x)编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）...

Bregman 散度给定一个严格凸函数 Φ\PhiΦ ,由该函数生成的Bregman散度（损失函数）D(X,Y)D(X,Y)D(X,Y)通过下面的公式给出：(1)D(x,y)=Φ(x)−Φ(y)−⟨∇Φ(y),(x−y)⟩D(x,y)=\Phi(x)-\Phi(y)-\left \langle \nabla\Phi(y),(x-y) \right \rangle \tag{1}D(x,y)...

调用tf.softmax_cross_entropy_with_logits函数出错解决# loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(output, Y)) # 因此修改需要成这样： loss = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(l...