ClipReID的监督对比损失SupConLoss

yiruzhao

已于 2024-07-31 16:46:44 修改

阅读量576

点赞数 4

文章标签：深度学习 python 机器学习

于 2024-07-31 14:50:49 首次发布

本文链接：https://blog.youkuaiyun.com/SisterRu/article/details/140822916

版权

下面是带有详细注释的SupConLoss类代码，这些注释解释了代码中每个部分的作用和逻辑：

import torch
import torch.nn as nn

class SupConLoss(nn.Module):
    """定义一个监督对比损失类，继承自nn.Module"""
    def __init__(self, device):
        """初始化函数
        Args:
            device (torch.device): 计算设备（CPU或GPU）
        """
        super(SupConLoss, self).__init__()
        self.device = device  # 将计算设备存储为类的一个属性
        self.temperature = 1.0  # 设置温度参数，默认为1.0，用于控制相似度计算的尺度

    def forward(self, text_features, image_features, t_label, i_targets):
        """前向传播函数，计算损失
        Args:
            text_features (torch.Tensor): 文本特征张量
            image_features (torch.Tensor): 图像特征张量
            t_label (torch.Tensor): 文本特征对应的标签
            i_targets (torch.Tensor): 图像特征对应的目标标签
        Returns:
            torch.Tensor: 计算得到的损失值
        """
        # 计算批次中文本特征和图像特征的数量
        batch_size = text_features.shape[0]
        batch_size_N = image_features.shape[0]

        # 创建一个掩码矩阵，标记哪些文本和图像特征对属于相同类别
        mask = torch.eq(t_label.unsqueeze(1).expand(batch_size, batch_size_N),
                        i_targets.unsqueeze(0).expand(batch_size, batch_size_N)).float().to(self.device)

       # 计算文本和图像特征的相似度
        logits = torch.div(torch.matmul(text_features, image_features.T),self.temperature)
        # for numerical stability 为了提高计算稳定性
        logits_max, _ = torch.max(logits, dim=1, keepdim=True)
        logits = logits - logits_max.detach() 
        # 计算logits的指数
        exp_logits = torch.exp(logits) 
        # 计算log-softmax, 用于正规化 logits 矩阵，使得每行的元素和为 1
        log_prob = logits - torch.log(exp_logits.sum(1, keepdim=True)) 
        # 首先使用前面创建的 mask 掩码矩阵来选择出相同标签的特征对
        # 之后，对每行进行求和，得到每个文本特征对应的所有正样本的 log 概率和
        # 最后，将这些和除以每个文本特征对应的正样本数量，得到每个文本特征对其所有正样本的平均对数概率。
        mean_log_prob_pos = (mask * log_prob).sum(1) / mask.sum(1) 
        # 将所有文本特征的平均对数概率取负值后求平均
        loss = - mean_log_prob_pos.mean()
        return loss