js-divergence的pytorch实现

最新推荐文章于 2025-09-19 04:41:51 发布

原创

最新推荐文章于 2025-09-19 04:41:51 发布 · 8.9k 阅读

CC 4.0 BY-SA版权

若有纰漏，敬请指出，感谢！

def js_div(p_output, q_output, get_softmax=True):
    """
    Function that measures JS divergence between target and output logits:

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

关注关注

专栏目录

05-25

2174

04-10

2万+

9 条评论您还未登录，请先登录后发表或查看评论

9 条评论

muyuqing_sir 2024.05.04
楼主的mean和q或者p的位置是没有反的，因为pytorch实现的这个KL计算loss的时候，第一个位置是模型输出，第二个位置是真实概率分布；但是KL公式里面第一个位置是真实概率分布，第二个位置是模型输出，详见官方文档里面的note：https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html#torch.nn.KLDivLoss

落花逐流水 2023.09.19
正确的应该是这样写吧？ def js_div(p_output, q_output, get_softmax=True): """ Function that measures JS divergence between target and output logits: """ KLDivLoss = nn.KLDivLoss(reduction='batchmean') if get_softmax: p_output = F.softmax(p_output) q_output = F.softmax(q_output) m = 0.5*(p_output + q_output) return 0.5*(KLDivLoss(p_output.log(), m) + KLDivLoss(q_output.log(), m))

Tinet- 2021.02.23
请问是不是反了呢，是不是应该return (KLDivLoss( p_output.log(), mean_output) + KLDivLoss(q_output.log(), mean_output))/2
- Algo无名xiaozu回复Tinet- 2022.03.19
  没写反，公式里的位置和函数调用的位置，指导和被指导位置刚好反的
- 飞猪撞地球回复Tinet- 2021.11.05
  没反
- yuanshuhao回复Adenialzz 2021.10.26
  应该是写反了
- Adenialzz回复Tinet- 2021.05.09
  反了吗？没反吧
- Answerlzd回复Tinet- 2021.03.07
  应该是写反了