20、深度学习模型的知识编码、解释与语义理解

深度学习模型的知识编码、解释与语义理解

1. 模型分析策略

在分析深度学习（DL）模型，尤其是处理图像等高维非结构化数据时，有多种策略可供选择：
- SHAP梯度解释器 ：将综合梯度、平滑梯度和SHAP的概念融合到一个期望值公式中。
- 可视化激活层 ：展示模型在特定输入下不同网络层特征图的激活情况。
- 遮挡敏感性 ：演示遮挡或隐藏图像区域对网络解释图像置信度的递归影响。
- Grad - CAM ：显示模型对图像各区域的预测如何因反向传播到类激活图的梯度而变化。
- 平滑梯度 ：通过对图像的梯度敏感性图求平均，定位输入图像中感兴趣的像素。
- DeepEyes ：识别稳定层、退化滤波器、不可检测模式、过大层、冗余层以及是否需要额外层。

2. 解释方法的作用及类型

解释方法旨在扩展现有解释方法的分类，涵盖多种解释类型，并检查这些解释是否能解决用户的担忧。不过，解释方法面临两个主要问题：有偏数据集可能产生有偏的深度神经网络（DNN），以及结果可能不公平。以下是不同类型解释的优缺点对比：
| 解释类型 | 优点 | 缺点 |
| — | — | — |
| 可视化 | 易于实现，便于向非技术受众传达 | 检查的特征数量有限，绘图需要专家干预才能产生解释 |
| 局部 | 通常在实例级别操作，从局部角度解释模型行为 | 定义局部性困难，解释缺乏全局范围和稳定