Python打卡训练营学习记录Day47-优快云博客

注意力热图可视化

昨天代码中注意力热图的部分顺移至今天

知识点回顾：

热力图

热力图：就像在餐厅中，用热成像仪显示顾客对不同区域的关注度，颜色越亮表示关注度越高。
卷积层：类似于厨师在烹饪过程中不同的处理步骤，每一步都会提取不同的特征。
特征图：每个卷积层输出的特征图就像厨师在每一步处理后的食材状态，包含不同的特征信息。
注意力热图：展示了模型（厨师）在处理图像（食材）时关注的重点区域，帮助理解模型的决策依据。

作业：对比不同卷积层热图可视化的结果

import torch
import matplotlib.pyplot as plt
 
def compare_conv_layers(model, input_tensor):
    # 注册多个钩子获取不同层特征图
    layer_outputs = {}
    
    def save_output(layer_name):
        def hook(module, input, output):
            layer_outputs[layer_name] = output.detach().cpu()
        return hook
    
    # 选择三个不同卷积层
    hooks = [
        model.layer1[0].conv1.register_forward_hook(save_output('layer1_conv')),
        model.layer2[0].conv1.register_forward_hook(save_output('layer2_conv')),
        model.layer3[0].conv1.register_forward_hook(save_output('layer3_conv'))
    ]
    
    # 前向传播
    with torch.no_grad():
        model(input_tensor.unsqueeze(0))
    
    # 移除钩子
    for hook in hooks:
        hook.remove()
    
    # 可视化对比
    fig, axes = plt.subplots(3, 5, figsize=(20, 12))
    for row, (layer_name, features) in enumerate(layer_outputs.items()):
        for col in range(5):
            axes[row, col].imshow(features[0, col].numpy(), cmap='viridis')
            axes[row, col].set_title(f"{layer_name}\nch{col}", fontsize=8)
            axes[row, col].axis('off')
    plt.tight_layout()
    plt.show()
 
# 使用示例
from torchvision.models import resnet18
model = resnet18(pretrained=True).eval()
input_img = torch.randn(3, 224, 224)  # 替换为实际输入图像
compare_conv_layers(model, input_img)

@浙大疏锦行