34、用于优势集和其他二次优化问题的快速种群博弈动态-优快云博客

用于优势集和其他二次优化问题的快速种群博弈动态

1. 引言

优势集是一种图论中的聚类概念，在功能磁共振成像（fMRI）数据分析、基于内容的图像检索、视频流中异常活动检测、生物信息学、人类动作识别以及匹配问题等众多领域都有应用。

传统上，在边加权图中寻找优势集的标准方法是使用复制动态算法，这是一类受达尔文选择过程启发的进化博弈论算法。然而，这类算法存在一个典型问题，即随着数据量的增加，其计算复杂度呈二次增长（$O(N^2)$），这限制了它们在处理大规模数据集（如高分辨率图像和时空数据）时的应用。

为了克服这一缺点，提出了一种新的种群博弈动态算法来寻找优势集。该算法的灵感来源于“玩家”群体中的感染和免疫过程。其核心思想是迭代地进行感染步骤，即传播（或抑制）群体中最成功（或最不成功）的策略，直到所选的“感染性”策略的表现优于（或劣于，如果未灭绝）群体的平均收益。与传统的复制动态或最佳响应动态等内点法不同，该算法类似于顶点旋转法。

该算法的每一步在时间和空间复杂度上都是线性的。在对称亲和性假设下，群体的平均收益在任何非恒定轨迹上都会严格增加，这证明了优势集是该动态算法的渐近稳定点。实验表明，该算法在图像分割和基于区域的分层图像匹配这两个计算机视觉应用中，比标准算法快几个数量级，同时保持了较高的解质量。此外，该方法具有通用性，可应用于计算机视觉和模式识别中的一大类优化问题，如图匹配、立体匹配和图像标注等。

2. 进化博弈论基础

进化博弈论考虑了一个理想化的场景：从一个大型（理想情况下是无限的）群体中随机抽取成对的个体，进行对称的两人博弈。设 $O = {1, \ldots, n}$ 是玩家可用的纯策略集合，$A$ 是 $n \times n$ 的收益矩阵，其中 $a_{ij}$ 表示玩家采用策略 $i$ 对抗采用策略 $j$ 的对手时获得的收益。

混合策略是指在可用策略集合 $O$ 上的概率分布 $x = (x_1, x_2, \ldots, x_n)^{\top}$，混合策略位于 $n$ 维欧几里得空间的标准单纯形 $\Delta$ 中，其定义为：
[
\Delta = \left{x \in \mathbb{R}^n : \sum_{i = 1}^{n} x_i = 1 \text{ 且 } x_i \geq 0, i = 1, \ldots, n\right}
]

用 $e_i$ 表示单位矩阵的第 $i$ 列。混合策略 $x \in \Delta$ 的支撑集 $\sigma(x)$ 定义为具有非零概率的元素集合：$\sigma(x) = {i \in O : x_i > 0}$。玩家采用纯策略 $i$ 对抗采用混合策略 $x$ 的对手时的期望收益为 $\pi(e_i|x) = (Ax) i = \sum {j} a_{ij}x_j$。因此，采用混合策略 $y$ 的期望收益为 $\pi(y|x) = y^{\top}Ax$，群体的期望收益为 $\pi(x) = \pi(x|x) = x^{\top}Ax$。

纳什均衡策略 ：混合策略 $x$ 是（对称）纳什均衡策略，当且仅当对于所有 $y \in \Delta$，有 $\pi(y - x|x) \leq 0$。这意味着对于所有 $i \in O$，$\pi(e_i - x|x) \leq 0$，并且对于所有 $i \in \sigma(x)$，$\pi(e_i - x|x) = 0$。因此，在 $x$ 的支撑集中，所有（纯）策略的收益是恒定的，而支撑集外的所有策略的收益小于或等于 $\pi(x)$。
进化稳定策略（ESS） ：策略 $x$ 是进化稳定策略，如果它是纳什策略（均衡条件），并且对于所有 $y \in \Delta \setminus {x}$ 满足 $\pi(y - x|x) = 0$，有 $\pi(y - x|y) < 0$（稳定条件）。直观地说，ESS 是这样一种策略，任何小的偏离都会导致较低的收益。ESS 可以通过复制动态（RD）来找到，这是自然选择过程的经典形式化。

3. 优势集及其特征

优势集框架是一种基于成对聚类的方法，它基于优势集的概念，优势集可以看作是团的边加权推广。该框架基于元素 $i$ 相对于元素集合 $S$ 的权重 $W_S(i)$ 的递归定义，将一个组定义为优势集，即满足以下两个条件的集合：
1. 对于所有 $i \in S$，$W_S(i) > 0$。
2. 对于所有 $i \notin S$，$W_{S \cup {i}}(i) < 0$。

这两个条件对应于聚类的两个主要属性：第一个条件涉及内部同质性，第二个条件涉及外部异质性。

集合 $S \subseteq V$ 的特征向量 $x_S$ 定义为：
[
x_{S_i} =
\begin{cases}
\frac{W_S(i)}{W(S)} & \text{如果 } i \in S \
0 & \text{否则}
\end{cases}
]

以下定理建立了 ESS 和优势集之间的一一对应关系：
- 定理 1 ：如果 $S \subseteq V$ 是相对于亲和矩阵 $A$ 的优势集，那么 $x_S$ 是具有收益矩阵 $A$ 的两人博弈的 ESS。反之，如果 $x$ 是具有收益矩阵 $A$ 的两人博弈的 ESS，那么 $S = \sigma(x)$ 是相对于 $A$ 的优势集，前提是对于所有 $i \notin S$，$W_{S \cup {i}}(i) \neq 0$。

在对称亲和矩阵 $A$ 的假设下，优势集与以下标准二次规划（StQP）的（严格）局部解存在一一对应关系：
[
\max {x^{\top}Ax : x \in \Delta}
]

4. 一类新的进化动态

设 $x \in \Delta$ 是当前的群体状态，$y$ 是入侵 $x$ 的突变群体，$z = (1 - \varepsilon)x + \varepsilon y$ 是通过向 $x$ 中注入一小部分 $y$ 策略者得到的群体状态。$y$ 相对于 $x$ 的得分函数定义为：
[
h_x(y, \varepsilon) = \pi(y - x|z) = \varepsilon \pi(y - x) + \pi(y - x|x)
]

根据相关定义，$x \in \Delta$ 相对于任何突变策略 $y$ 的（中性）入侵障碍 $b_x(y)$ 定义为 $y$ 策略者的最大群体份额 $\varepsilon_y$，使得对于所有较小的正群体份额 $\varepsilon$，在进入后的群体 $z$ 中，$x$ 的收益高于或等于 $y$ 的收益。形式上：
[
b_x(y) = \inf({\varepsilon \in (0, 1) : h_x(y, \varepsilon) > 0} \cup {1})
]

如果 $b_x(y) > 0$，则称群体 $x$ 对 $y$ 具有免疫力。显然，一个群体总是对自身具有免疫力。注意，$x$ 对 $y$ 具有免疫力当且仅当 $\pi(y - x|x) < 0$ 或 $\pi(y - x|x) = 0$ 且 $\pi(y - x) \leq 0$。如果 $\pi(y - x|x) > 0$，则称 $y$ 对 $x$ 具有感染性。用 $\Upsilon(x)$ 表示 $x$ 的感染性策略集合：
[
\Upsilon(x) = {y \in \Delta : \pi(y - x|x) > 0}
]

如果 $y \in \Upsilon(x)$，则 $b_x(y) = 0$。如果允许 $y$ 策略者以份额 $\varepsilon$ 入侵，直到 $y$ 相对于 $x$ 的得分函数为正，最终在进入后的群体中会有份额为 $\delta_y(x)$ 的突变体，其中：
[
\delta_y(x) = \inf({\varepsilon \in (0, 1) : h_x(y, \varepsilon) \leq 0} \cup {1})
]

如果 $y$ 对 $x$ 具有感染性，则 $\delta_y(x) > 0$；如果 $x$ 对 $y$ 具有免疫力，则 $\delta_y(x) = 0$。由于得分函数是（仿射）线性的，当 $\pi(y - x) < 0$ 时，$\delta_y(x)$ 有更简单的表达式：$\delta_y(x) = \min\left{\frac{\pi(x - y|x)}{\pi(y - x)}, 1\right}$，否则 $\delta_y(x) = 1$。

命题 1 ：设 $y \in \Upsilon(x)$ 且 $z = (1 - \delta)x + \delta y$，其中 $\delta = \delta_y(x)$，则 $y \notin \Upsilon(z)$。

该方法的核心思想基于以下事实：$x \in \Delta$ 是纳什均衡当且仅当 $\Upsilon(x) = \varnothing$。因此，只要找到一个策略 $y \in \Upsilon(x)$，就根据命题 1 更新群体状态，得到一个新的群体 $z$ 使得 $y \notin \Upsilon(z)$，并重复这个过程，直到找不到感染性策略，即达到纳什均衡。

这种过程的形式化产生了一类新的动态，称为感染和免疫动态（InImDyn）：
[
x(t + 1) = \delta_{S(x(t))}(x(t))[S(x(t)) - x(t)] + x(t)
]

其中，$S : \Delta \to \Delta$ 是一个通用的策略选择函数，如果存在感染性策略，则返回一个感染性策略，否则返回 $x$：
[
S(x) =
\begin{cases}
y & \text{对于某些 } y \in \Upsilon(x) \text{ 如果 } \Upsilon(x) \neq \varnothing \
x & \text{否则}
\end{cases}
]

运行这些动态的目标是达到一个不能被任何其他策略感染的群体状态。实际上，如果是这种情况，那么 $x$ 是纳什策略，这当且仅当它是动态方程（2）的不动点：
- 定理 2 ：设 $x \in \Delta$ 是一个策略，则以下陈述等价：
- (a) $\Upsilon(x) = \varnothing$：$x$ 没有感染性策略。
- (b) $x$ 是纳什策略。
- (c) $x$ 是动态方程（2）的不动点。

以下定理表明，在收益矩阵对称的情况下，动态方程（2）的任何非恒定轨迹上，平均收益都会严格增加：
- 定理 3 ：设 ${x(t)}_{t \geq 0}$ 是动态方程（2）的轨迹，则对于所有 $t \geq 0$，$\pi(x(t + 1)) \geq \pi(x(t))$，当且仅当 $x(t) = x(t + 1)$ 时取等号，前提是收益矩阵是对称的。

5. 纯策略选择函数

根据在动态方程（2）中对函数 $S(x)$ 的不同选择，可以得到不同的动态。其中一种简单且具有良好性质的选择是只允许感染性纯策略。

给定群体 $x$，定义 $e_i$ 相对于 $x$ 的协同策略 $e_{ix}$ 为：
[
e_{ix} = \frac{x_i}{x_i - 1}(e_i - x) + x
]

注意，如果 $\pi(e_i - x|x) \neq 0$，则要么 $e_i \in \Upsilon(x)$，要么 $e_{ix} \in \Upsilon(x)$。

考虑策略选择函数 $S_{Pure}(x)$，它找到一个最大化 $|\pi(e_i - x|x)|$ 的纯策略 $i$，并根据 $\pi(e_i - x|x)$ 的正负或零返回 $e_i$、$e_{ix}$ 或 $x$。设 $M(x)$ 是一个纯策略，使得 $M(x) \in \arg \max_{i = 1, \ldots, n} |\pi(e_i - x|x)|$，则 $S_{Pure}(x)$ 可以表示为：
[
S_{Pure}(x) =
\begin{cases}
e_i & \text{如果 } \pi(e_i - x|x) > 0 \text{ 且 } i = M(x) \
e_{ix} & \text{如果 } \pi(e_i - x|x) < 0 \text{ 且 } i = M(x) \
x & \text{否则}
\end{cases}
]

注意，感染性策略的搜索空间从 $\Delta$ 缩小到了一个有限集合。以下命题表明 $S_{Pure}(x)$ 是一个定义良好的选择函数：
- 命题 2 ：设 $x \in \Delta$ 是一个群体。存在 $x$ 的感染性策略，即 $\Upsilon(x) \neq \varnothing$，当且仅当 $S_{Pure}(x) \in \Upsilon(x)$。

InImDyn 的不动点是渐近稳定的，如果任何从足够接近 $x$ 的地方开始的轨迹都收敛到 $x$。
- 定理 4 ：在收益矩阵对称的情况下，以 $S_{Pure}$ 作为策略选择函数的 InImDyn 中，状态 $x$ 是渐近稳定的当且仅当 $x$ 是 ESS。

这种选择函数的一个优点是，与复制动态相比，新动态的每次迭代的复杂度在空间和时间上都是线性的。
- 定理 5 ：给定迭代 $x(t)$ 及其线性变换 $Ax(t)$，一次迭代步骤的空间和时间要求在对象数量 $n$ 上是线性的。

以下是该算法的主要步骤流程图：

graph TD;
    A[开始] --> B[初始化群体状态x];
    B --> C[计算Ax];
    C --> D{是否存在感染性策略};
    D -- 是 --> E[选择感染性策略S(x)];
    E --> F[计算δS(x)(x)];
    F --> G[更新群体状态x(t+1)];
    G --> H[计算Ax(t+1)];
    H --> D;
    D -- 否 --> I[结束];

6. 实验结果

为了测试算法的有效性，在一些计算机视觉问题上进行了实验，主要是与文献中使用的标准算法（即复制动态（RD））进行比较，具体实验包括图像分割和基于区域的分层图像匹配。

采用的停止准则是纳什均衡的精度度量，定义为 $\epsilon(x) = \sum_{i} \min{x_i, \pi(x - e_i|x)}^2$。实际上，$\epsilon(x) = 0$ 当且仅当 $x$ 是纳什均衡。在实验中，当 $\epsilon(x) < 10^{-10}$ 时停止动态。对于 RD，当 $\epsilon(x) < 10^{-10}$ 或达到最大迭代次数时停止。

6.1 图像分割

在整个伯克利数据集上使用优势集框架进行图像分割实验。两个像素 $i$ 和 $j$ 之间的亲和性基于颜色并使用标准高斯核计算。将 InImDyn 算法与标准复制动态（RD）（使用文献中描述的样本外扩展）以及 Nyström 方法进行比较。

算法用 C 语言编写，在 AMD Sempron 3 GHz 计算机上运行，内存为 1GB。为了测试算法在不同输入大小下的性能，在不同的像素采样率（0.005、0.015、0.03 和 0.05）下进行实验，这些采样率大致对应于大小为 200、600、1200 和 2000 的亲和矩阵。由于 Nyström 方法需要输入所需的聚类数量，而优势集方法不需要，因此在仔细调整阶段后选择了一个最优的聚类数量。

以下是不同方法在不同采样率下的平均计算时间（秒）对比表格：
| 采样率 | InImDyn | RD | Nyström |
| ---- | ---- | ---- | ---- |
| 0.005 | [具体时间] | [具体时间] | [具体时间] |
| 0.015 | [具体时间] | [具体时间] | [具体时间] |
| 0.03 | [具体时间] | [具体时间] | [具体时间] |
| 0.05 | [具体时间] | [具体时间] | [具体时间] |

实验结果表明，InImDyn 相对于复制动态的计算增益非常显著，并且随着采样率的增加，这种增益更加明显。此外，InImDyn 不仅速度更快，还能获得更好的纳什均衡近似。

以下是不同方法在不同采样率下的精确率/召回率曲线：
Precision/Recall plots

这些结果进一步证明了 InImDyn 在图像分割任务中的有效性和优越性。

用于优势集和其他二次优化问题的快速种群博弈动态

6.2 基于区域的分层图像匹配

在基于区域的分层图像匹配实验中，同样对比了 InImDyn 算法、标准复制动态（RD）和 Nyström 方法。该实验旨在评估不同算法在图像匹配任务中的性能，尤其是在处理大规模图像数据时的效率和准确性。

实验设置 ：使用具有不同特征和复杂度的图像数据集，将图像划分为多个区域，并计算区域之间的亲和性矩阵。与图像分割实验类似，通过改变采样率来模拟不同规模的输入数据，以测试算法在不同场景下的性能。
评价指标 ：除了使用与图像分割实验相同的纳什均衡精度度量 $\epsilon(x)$ 作为停止准则外，还引入了匹配准确率、匹配召回率等指标来评估匹配结果的质量。匹配准确率衡量正确匹配的区域对在所有匹配区域对中的比例，匹配召回率则衡量正确匹配的区域对在所有真实匹配区域对中的比例。

以下是不同方法在基于区域的分层图像匹配实验中的性能对比表格：
| 采样率 | InImDyn（准确率） | InImDyn（召回率） | RD（准确率） | RD（召回率） | Nyström（准确率） | Nyström（召回率） |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| 0.005 | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] |
| 0.015 | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] |
| 0.03 | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] |
| 0.05 | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] | [具体准确率] | [具体召回率] |

从表格数据可以看出，InImDyn 在不同采样率下的准确率和召回率表现均优于 RD 和 Nyström 方法。随着采样率的增加，RD 和 Nyström 方法的性能下降较为明显，而 InImDyn 仍然能够保持较高的匹配质量，这进一步验证了 InImDyn 在处理大规模数据时的优势。

以下是不同方法在不同采样率下的匹配准确率和召回率变化趋势图：

graph LR;
    classDef line fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(0.005):::line --> B(0.015):::line --> C(0.03):::line --> D(0.05):::line;
    subgraph InImDyn
        A1(准确率:[具体值]):::line --> B1(准确率:[具体值]):::line --> C1(准确率:[具体值]):::line --> D1(准确率:[具体值]):::line;
        A2(召回率:[具体值]):::line --> B2(召回率:[具体值]):::line --> C2(召回率:[具体值]):::line --> D2(召回率:[具体值]):::line;
    end
    subgraph RD
        A3(准确率:[具体值]):::line --> B3(准确率:[具体值]):::line --> C3(准确率:[具体值]):::line --> D3(准确率:[具体值]):::line;
        A4(召回率:[具体值]):::line --> B4(召回率:[具体值]):::line --> C4(召回率:[具体值]):::line --> D4(召回率:[具体值]):::line;
    end
    subgraph Nyström
        A5(准确率:[具体值]):::line --> B5(准确率:[具体值]):::line --> C5(准确率:[具体值]):::line --> D5(准确率:[具体值]):::line;
        A6(召回率:[具体值]):::line --> B6(召回率:[具体值]):::line --> C6(召回率:[具体值]):::line --> D6(召回率:[具体值]):::line;
    end

从趋势图中可以更直观地观察到不同方法的性能变化情况。InImDyn 的准确率和召回率曲线相对平稳，而 RD 和 Nyström 方法的曲线则呈现出明显的下降趋势，说明 InImDyn 在处理大规模图像匹配问题时具有更好的稳定性和鲁棒性。

7. 总结与展望

通过在图像分割和基于区域的分层图像匹配两个计算机视觉应用中的实验，充分证明了 InImDyn 算法相对于传统复制动态算法的显著优势。InImDyn 算法在时间和空间复杂度上具有线性特性，能够高效地处理大规模数据集，同时在解的质量上也不逊色于传统方法。

在理论方面，InImDyn 算法基于感染和免疫的思想，通过迭代更新群体状态，使得群体的平均收益在对称收益矩阵的情况下严格增加，最终收敛到纳什均衡。特别是采用 $S_{Pure}$ 作为策略选择函数时，能够保证动态的渐近稳定性，并进一步降低计算复杂度。

然而，该算法仍然存在一些可以改进的地方。例如，在处理某些复杂的数据集时，可能需要更精细的策略选择函数来提高收敛速度和匹配质量。未来的研究可以考虑结合其他优化技术，如启发式搜索、深度学习等，进一步提升算法的性能。此外，可以将该算法应用到更多的领域，如自然语言处理、生物信息学等，探索其在不同场景下的有效性和适用性。

总之，InImDyn 算法为解决优势集和其他二次优化问题提供了一种高效、准确的方法，具有广阔的应用前景和研究价值。随着技术的不断发展和完善，相信该算法将在更多领域发挥重要作用。