Candidate Sampling
@(机器学习)
当我们有一个多类或者多标签的分类问题时,训练的样本为(xi,Ti),T只是一个所有类标L的一个极小的子集
“Exhaustive” training methods such as softmax and logistic regression require us to compute F(x, y) for every class y ∈ L for every training example. When |L| is very large, this can be prohibitively expensive.
“Candidate Sampling”:从所有类标中抽样一部分子集

Q(y|x):给定x,抽样类出现的概率,抽样函数
logistic training loss=∑i(∑y∈POSilog(1+exp(−G(xi,y)

采样方法在处理大规模类别问题时能有效降低成本。本文聚焦于Sampled Softmax,一种从大量类标中抽样的策略。在多类或多标签分类任务中,它通过选取部分类别的子集来减少计算复杂性,从而加速训练过程。抽样函数Q(y|x)定义了类别的抽样概率。Sampled Softmax的目标是计算给定输入和采样类集合时,每个类作为目标类的后验概率。
最低0.47元/天 解锁文章
1724

被折叠的 条评论
为什么被折叠?



