17、机器学习中的原型、批评实例与有影响力实例分析

机器学习中的原型、批评实例与有影响力实例分析

1. 原型与批评实例

1.1 基本概念

原型是能代表所有数据的数据实例，而批评实例则是不能被原型集很好代表的数据实例。批评实例的作用是与原型一起提供对数据的洞察，特别是对于原型难以代表的数据点。原型和批评实例既可以独立于机器学习模型来描述数据，也可用于创建可解释模型或使黑盒模型变得可解释。

1.2 MMD - critic方法

MMD - critic方法将原型和批评实例结合在一个框架中。其核心是比较数据分布和所选原型的分布，选择能使这两个分布差异最小化的原型。数据密度高的区域中的数据点是很好的原型候选，而原型无法很好解释的区域中的数据点则被选为批评实例。

1.2.1 理论步骤

1. 选择数量 ：确定要寻找的原型和批评实例的数量。
2. 寻找原型 ：使用贪心搜索，选择使原型分布接近数据分布的原型。
3. 寻找批评实例 ：同样使用贪心搜索，选择原型分布与数据分布差异较大的点作为批评实例。

1.2.2 关键要素

• 核函数 ：用于估计数据密度，衡量两点之间的相似度。例如径向基函数核：
  [k(x, x’) = \exp (-\gamma |x - x’|^2)]
  其中(|x - x’|)是两点间的欧几里得距离，(\gamma)是缩放参数。
• 最大均值差