基于pytorch-grad-cam的CLIP模型可视化分析实践

劳允椒

于 2025-06-03 09:10:16 发布

阅读量348

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00546/article/details/148393625

基于pytorch-grad-cam的CLIP模型可视化分析实践

pytorch-grad-cam Advanced AI Explainability for computer vision. Support for CNNs, Vision Transformers, Classification, Object detection, Segmentation, Image similarity and more. 项目地址: https://gitcode.com/gh_mirrors/py/pytorch-grad-cam

项目背景与概述

pytorch-grad-cam是一个强大的PyTorch模型可视化工具包，它能够帮助我们理解深度学习模型的决策过程。本文重点介绍如何使用该工具包对CLIP(Contrastive Language-Image Pretraining)模型进行可视化分析。

CLIP是OpenAI开发的多模态模型，能够同时理解图像和文本信息。通过pytorch-grad-cam，我们可以直观地看到CLIP模型在识别图像时关注了哪些区域，这对于理解模型行为、调试模型性能具有重要意义。

环境准备与依赖

要运行本示例，需要安装以下Python包：

pytorch-grad-cam
transformers (用于加载CLIP模型)
opencv-python (用于图像处理)
numpy

核心代码解析

1. 参数设置与模型加载

首先定义了命令行参数解析器，允许用户指定：

使用的计算设备(CPU/GPU)
输入图像路径
需要识别的标签列表
可视化方法选择(gradcam/gradcam++等)
是否使用平滑处理

def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('--device', type=str, default='cpu',
                        help='Torch device to使用')
    parser.add_argument('--image-path', type=str, default='./examples/both.png',
                        help='输入图像路径')
    parser.add_argument('--labels', type=str, nargs='+',
                        default=["a cat", "a dog", "a car", "a person", "a shoe"],
                        help='需要识别的标签')
    ...

2. CLIP模型封装

创建了一个ImageClassifier类来封装CLIP模型，使其适应pytorch-grad-cam的接口要求：

class ImageClassifier(nn.Module):
    def __init__(self, labels):
        super(ImageClassifier, self).__init__()
        self.clip = CLIPModel.from_pretrained("openai/clip-vit-large-patch14")
        self.processor = CLIPProcessor.from_pretrained("openai/clip-vit-large-patch14")
        self.labels = labels

    def forward(self, x):
        text_inputs = self.processor(text=self.labels, return_tensors="pt", padding=True)
        outputs = self.clip(pixel_values=x, input_ids=text_inputs['input_ids'].to(self.clip.device),
                            attention_mask=text_inputs['attention_mask'].to(self.clip.device))
        logits_per_image = outputs.logits_per_image
        probs = logits_per_image.softmax(dim=1)
        ...

3. 可视化方法选择

pytorch-grad-cam提供了多种可视化方法，本示例支持以下方法：

methods = {
    "gradcam": GradCAM,
    "scorecam": ScoreCAM,
    "gradcam++": GradCAMPlusPlus,
    "ablationcam": AblationCAM,
    "xgradcam": XGradCAM,
    "eigencam": EigenCAM,
    "eigengradcam": EigenGradCAM,
    "layercam": LayerCAM,
    "fullgrad": FullGrad
}

4. 图像预处理与可视化

图像预处理步骤包括：

读取并调整图像大小
归一化处理
转换为模型输入张量

rgb_img = cv2.imread(args.image_path, 1)[:, :, ::-1]
rgb_img = cv2.resize(rgb_img, (224, 224))
rgb_img = np.float32(rgb_img) / 255
input_tensor = preprocess_image(rgb_img, mean=[0.5, 0.5, 0.5],
                                std=[0.5, 0.5, 0.5]).to(args.device)

关键技术点

1. 针对ViT模型的reshape_transform

由于CLIP的视觉部分基于Vision Transformer(ViT)，其输出结构与CNN不同，需要特殊的reshape处理：

def reshape_transform(tensor, height=16, width=16):
    result = tensor[:, 1:, :].reshape(tensor.size(0),
                                      height, width, tensor.size(2))
    result = result.transpose(2, 3).transpose(1, 2)
    return result

2. 目标层选择

对于ViT模型，我们选择最后一层的layer_norm作为目标层：

target_layers = [model.clip.vision_model.encoder.layers[-1].layer_norm1]

3. 可视化结果生成

生成热力图并叠加到原始图像上：

grayscale_cam = cam(input_tensor=input_tensor,
                    targets=targets,
                    eigen_smooth=args.eigen_smooth,
                    aug_smooth=args.aug_smooth)
cam_image = show_cam_on_image(rgb_img, grayscale_cam)