qq_35455503的博客

contrastive loss 和 triplet loss 的作用类似，都是想办法拉近同类样本距离，拉远异类样本距离。triplet loss 的痛点在于每次只看一个负类的距离，没有考虑其他所有负类的情况，这就导致了在随机产生的数据对中，每一个数据对并不能有效的保证当前优化的方向能够拉远所有负类样本的距离，这就导致了往往训练过程中的收敛不稳定或者陷入局部最优。...

贯穿神经网络设计的一个反复出现的主题是代价函数的梯度必须足够的大和具有足够的预测性，来为学习算法提供一个好的指引。饱和（变得非常平）的函数破坏了这一目标，因为它们把梯度变得非常小。这在很多情况下都会发生，因为用于产生隐藏单元或者输出单元的输出的激活函数会饱和。负的对数似然帮助我们在很多模型中避免这个问题。很多输出单元都会包含一个指数函数，这在它的变量取绝对值非常大的负值时会造成饱和。负对数似然代价...

sigmoid神经网络在每层的激活值均值和标准偏差在训练过程中的演变情况原因： Our proposed explanation rests onthe hypothesis that the transformation that the lower layersof the randomly initialized network computes initially i...