qq_25366173的博客

1、决策树树相关问题（1）各种熵的计算 熵、联合熵、条件熵、交叉熵、KL散度（相对熵）熵用于衡量不确定性，所以均分的时候熵最大KL散度用于度量两个分布的不相似性，KL(p||q)等于交叉熵H(p,q)-熵H(p)。交叉熵可以看成是用q编码P所需的bit数，减去p本身需要的bit数，KL散度相当于用q编码p需要的额外bits。交互信息Mutual information ：I(x,y) = H(x)...

数据流图的高层、通用训练闭环我们创建了一个训练闭环，它具有如下功能。·首先对模型参数进行初始化。通常采用对参数随机赋值的方法，但对于比较简单的模型，也可以将各参数的初值均设为0。·读取训练数据（包括每个数据样本及其期望输出）。通常人们会在这些数据送入模型之前，随机打乱样本的次序。·在训练数据上执行推断模型。这样，在当前模型参数配置下，每个训练样本都会得到一个输出值。·计算损失。损失是一个能够刻画模...