显著性图Saliency Maps原理及绘制

---

一、Saliency Maps是什么？

Saliency Maps显著性图，是一种用于解释深度学习模型（尤其是卷积神经网络）决策的可视化技术。它通过生成一张热力图来展示图像中哪些区域对模型的预测结果贡献最大。

二、Saliency Maps原理

Saliency Maps的核心思想是通过计算输入图像像素对模型输出的影响程度来生成显著性图。具体来说，通常有以下两种实现方法：

1、基于梯度的方法

计算模型输出相对于输入图像的梯度来获得显著性图。

这种方法认为，高梯度区域对模型的输出影响较大，因此在显著性图中会显得更“亮”。

基本实现步骤：

• 输入一张图像到模型中，得到模型的输出（如分类概率）
• 计算模型输出相对于输入图像的梯度
• 取梯度的绝对值或平方值表示每个像素对输出的重要性
• 将这些梯度值映射回输入图像，生成显著性图

2、基于扰动的方法

通过系统地扰动（遮挡或修改）输入图像的某些区域，观察模型输出的变化。如果某个区域被扰动后模型的输出发生显著变化，说明该区域对模型的决策很重要。

二、Saliency Maps绘制示例

调用Saliency Maps绘制函数部分

##首先加载训练好的模型
class ViT(nn.Sequential):
	def __init__(self, emb_size=40, depth=6, n_classes=4, **kwargs):
		super().__init__(
		# ...the model
		)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = ViT()
model.load_state_dict(torch.load('XXXX.pth', map_location=device))

for param in model.parameters():
	param.requires_grad = False

Saliency Maps绘制函数部分

def compute_saliency_maps(X, y, model):
	model.eval()
	X.requires_grad_()
	saliency = None
	logits = model.forward()
	logits = logits.gather(1, y.view(-1,1).squeeze())#得到正确分类的预测值，即为损失值
	logits.backward(torch.FloatTensor([1., 1., 1., 1., 1.]))#将损失值反传
	saliency = abs(X.grad.data)
	saliency, _ = torch.max(saliency, dim=1)#取像素各通道梯度值中的最大值
	return saliency.squeeze()
	
def show_saliency_maps(X, y):
	X_tensor = torch.cat([preprocess(Image.fromarray(x)) for x in X], dim=0)
	y_tensor = torch.LongTensor(y)
	
	saliency = compute_saliency_maps(X_tensor, y_tensor, model)
	saliency = saliency.numpy()
	N = X.shape[0]
	for i in range(N):
		#.....绘制每个图像的显著性图