Listwise loss代码及Pairwise Loss代码

    def _listwise_loss(self, logits_in, labels_in, masks):
        """
        Copied from Hanshu.
        :param logits_in:
        :param labels_in:
        :param masks: B,B
        :return:
        """
        _EPSILON = 1e-10
        logits_bb = tf.subtract(tf.expand_dims(logits_in, 1), tf.zeros_like(tf.expand_dims(logits_in, 0)))
        logits_bb = tf.squeeze(logits_bb, [2])
        logits_final = tf.where(masks, logits_bb, tf.log(_EPSILON) * tf.ones_like(logits_bb))

        labels_bb = tf.subtract(tf.expand_dims(labels_in, 1), tf.zeros_like(tf.expand_dims(labels_in, 0)))
        labels_bb = tf.squeeze(labels_bb, [2])
        labels_final = tf.where(masks, labels_bb, tf.zeros_like(labels_bb))

        label_sum = tf.reduce_sum(input_tensor=labels_final, axis=0, keep_dims=True)
        nonzero_mask = tf.greater(tf.reshape(label_sum, [-1]), 0.0)
        padded_labels = tf.where(nonzero_mask, labels_final, _EPSILON * tf.ones_like(labels_final)) * tf.cast(
            masks, dtype=tf.float32)
        padded_label_sum = tf.reduce_sum(input_tensor=padded_labels, axis=0, keep_dims=True)
        normalized_labels = padded_labels / padded_label_sum

        exps = tf.exp(0.5 * logits_final) * tf.cast(masks, dtype=tf.float32)
        softmax = tf.divide(exps, tf.reduce_sum(exps, axis=0))
        losses = -tf.reduce_sum(
            normalized_labels * tf.log(softmax + _EPSILON) * tf.cast(masks, dtype=tf.float32), axis=0)

        per_row_weights = tf.reduce_sum(tf.cast(masks, dtype=tf.float32), axis=1)
        list_cnt = tf.reduce_sum(1.0 / per_row_weights)
        listwise_loss = tf.reduce_sum(losses / per_row_weights) / list_cnt
        # summaries.
        tf.summary.scalar("list_cnt", list_cnt)
        self.debug_dict = {"list_cnt": list_cnt}
        return listwise_loss
  def rank_loss(self):
    logits = self.logits
    labels = self.label
    pairwise_logits = logits - tf.transpose(logits)
    logging.info("[rank_loss] pairwise logits: {}".format(pairwise_logits))
    pairwise_mask = tf.greater(labels - tf.transpose(labels), 0)
    logging.info("[rank_loss] mask: {}".format(pairwise_mask))
    pairwise_logits = tf.boolean_mask(pairwise_logits, pairwise_mask)
    logging.info("[rank_loss]: after masking: {}".format(pairwise_logits))
    pairwise_psudo_labels = tf.ones_like(pairwise_logits)
    rank_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(
      logits=pairwise_logits,
      labels=pairwise_psudo_labels
    ))

    # set rank loss to zero if a batch has no positive sample.
    rank_loss = tf.where(tf.is_nan(rank_loss), tf.zeros_like(rank_loss), rank_loss)

    return rank_loss
Ranking loss(排序损失)是一种用于训练排序模型的损失函数。在信息检索、推荐系统等应用中,常常需要将一组项目(例如文档、商品等)进行排序,以便将最相关或最合适的项目排在前面。Ranking loss的目标是通过比较和排序不同项目的相关性来训练模型。 一种常见的Ranking losspairwise ranking loss(成对排序损失),其中通过比较每对项目的相关性来定义损失。给定一对项目,我们希望将相关性高的项目排在前面。假设我们有一个训练集,其中每个样本包含两个项目和它们的相关性标签(例如,0表示不相关,1表示相关)。对于这个训练集中的每个样本,我们可以计算两个项目的相关性分数,并使用损失函数来优化模型。 一种常用的pairwise ranking losspairwise hinge loss(成对合页损失)。对于一对项目(正负样本),如果模型对正样本的预测分数低于负样本的预测分数加上一个预定义的边界值(例如1),则会产生损失。这样的损失函数鼓励模型将相关性高的项目得分提高,不相关性高的项目得分降低。 除了pairwise ranking loss,还有其他类型的Ranking loss,如pointwise ranking losslistwise ranking loss。pointwise ranking loss独立地处理每个项目,将排序问题转化为回归问题,而listwise ranking loss则考虑整个项目列表的排序。 总结来说,Ranking loss是一种用于排序模型训练的损失函数,通过比较和排序不同项目的相关性来优化模型。其中pairwise ranking loss是常见的一种形式,它通过比较每对项目的相关性来定义损失。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值