19、纯纳什均衡与PLS完全性：博弈论中的计算难题解析

纯纳什均衡与PLS完全性：博弈论中的计算难题解析

1. 均衡概念的可处理性探讨

在博弈论的研究中，判断均衡概念何时具有可处理性是一个关键问题。此前已经有一些令人满意的均衡可处理性结果：
- 快速收敛到近似均衡 ：
- 在任意博弈中，无悔动态的联合行动时间平均历史能快速收敛到近似粗相关均衡（CCE）。
- 无交换后悔动态的联合行动时间平均历史能快速收敛到近似相关均衡（CE）。
- 在两人零和博弈中，无悔动态的联合行动时间平均历史能快速收敛到近似混合纳什均衡（MNE）。
- 在所有参与者共享相同起点和终点的原子路由博弈中，许多ε - 最佳响应动态的变体能快速收敛到近似纯纳什均衡（PNE）。

这些结果支持了这些均衡概念的预测能力。然而，我们不禁要问，能否证明更强的可处理性结果？例如，简单动态能否在一般两人博弈中快速收敛到近似MNE，或者在一般原子自私路由博弈中快速收敛到近似PNE？

为了研究不可处理性结果，我们将可处理性的概念从“是否存在简单自然的动态能在给定类别的博弈中快速收敛到给定的均衡概念”弱化到“是否存在算法能在给定类别的博弈中快速计算给定的均衡概念”。这里的“快速”指的是收敛所需的迭代次数或计算所需的基本操作次数受指定所有参与者成本或收益函数所需参数数量的多项式函数限制。

在上述提到的四种情况中，也存在不基于任何自然动态的多项式时间算法来计算精确均衡，但这些精确算法似乎与参与者在战略环境中的学习方式相去甚远。目前，还没有已知的简单学习程序能在一般两人博弈中快速收敛到近似MNE，或者在一般原子自私路由博弈中快速收敛到近似PNE，甚至也没有已知的多项式时间算法来计算这样的均衡。这就引出了计算复杂性理论的问题，我们可以借助NP完全性理论的思想来研究均衡计算问题的局限性。

2. 局部搜索问题

局部搜索问题是复杂性理论的一个分支，它对于证明计算原子自私路由博弈的PNE的内在不可处理性非常有用。计算此类博弈的PNE等价于计算某个势函数的局部最小值。

2.1 典型示例：最大割问题

最大割问题是研究局部搜索的一个典型问题。输入是一个无向图G = (V, E)，每条边e ∈ E都有一个非负权重we ≥ 0。可行解对应于图的割(X, X)，即顶点集V的一个二分划分。目标是最大化割边的总权重，也就是一端在X中，另一端在X中的边的总权重。最大割问题是NP难的，因此假设P ≠ NP，就不存在多项式时间算法来解决它。

局部搜索是一种对许多NP难问题都有用的自然启发式算法，对于最大割问题也不例外。其算法步骤如下：
1. 以任意割(X, X)初始化。
2. 当存在改进的局部移动时，采取任意这样的移动。

这里的局部移动是指将单个顶点v从割的一侧移动到另一侧。例如，将顶点v从X移动到X时，目标函数值的增加量为：
[
\sum_{u\in X:(u,v)\in E} w_{uv} - \sum_{u\in \overline{X}:(u,v)\in E} w_{uv}
]
如果这个差值为正，则这是一个改进的局部移动。局部搜索在没有改进的局部移动的解处停止，即局部最优解。但局部最优解不一定是全局最优解。

我们可以将局部搜索可视化为在有向图H中的行走。对于最大割实例，图H的顶点对应于图G的割，每条有向边代表从一个割到另一个割的改进局部移动。由于不存在这样的移动循环，H是一个有向无环图，没有出边的顶点（汇点）对应于局部最优解。

在某些特殊情况下，如每条边权重都为1的最大割实例，计算局部最大值很容易，因为目标函数只能取{0, 1, 2, …, |E|}中的值，局部搜索最多在|E|次迭代内停止。但对于具有任意非负边权重的最大割实例，目前还没有已知的多项式时间算法来计算局部最优解。为了证明不存在这样的算法，我们可以发展一种针对局部搜索问题的类似于NP完全性的理论。

2.2 PLS：抽象局部搜索问题

抽象局部搜索问题可以是最大化问题或最小化问题，它由三个在输入规模上运行时间为多项式的算法来定义：
1. 第一个多项式时间算法以实例为输入，输出一个任意可行解。
2. 第二个多项式时间算法以实例和可行解为输入，返回该解的目标函数值。
3. 第三个多项式时间算法以实例和可行解为输入，要么报告“局部最优”，要么产生一个目标函数值更好的解。

例如，在最大割问题中，第一个算法可以输出任意割，第二个算法计算给定割的割边总权重，第三个算法检查所有|V|个局部移动，如果没有改进的移动则输出“局部最优”，否则进行一次改进的局部移动并输出结果割。

每个抽象局部搜索问题都有一个使用这三个算法作为子程序的局部搜索过程。给定一个实例，通用局部搜索过程使用第一个算法获得初始解，并迭代应用第三个算法，直到找到局部最优解。由于候选解的目标函数值在找到局部最优解之前严格改善，且可行解的数量是有限的，这个过程最终会停止。但由于可行解的数量可能是输入规模的指数级，这个局部搜索过程可能需要超过多项式数量的迭代才能完成。

复杂性类PLS（多项式局部搜索）定义为所有这样的抽象局部搜索问题的集合，大多数我们见过的局部搜索问题都可以归结为PLS问题。

2.3 PLS完全性

我们的目标是证明计算具有一般非负边权重的最大割实例的局部最优解与任何其他局部搜索问题一样难。为了形式化“一样难”的概念，我们使用多项式时间归约，就像在NP完全性理论中一样。

从问题L1 ∈ PLS到问题L2 ∈ PLS的归约由两个多项式时间算法组成：
1. 算法A1将L1的每个实例x映射到L2的实例A1(x)。
2. 算法A2将A1(x)的每个局部最优解映射到x的局部最优解。

如果我们能在多项式时间内解决问题L2，那么通过结合解和算法A1、A2，我们也能在多项式时间内解决问题L1。

一个问题L是PLS完全的，如果L ∈ PLS且PLS中的每个问题都能归约到它。根据定义，存在多项式时间算法解决PLS完全问题当且仅当每个PLS问题都能在多项式时间内解决。许多自然且实际相关的问题都是PLS完全的，包括最大割问题。

定理表明，计算具有一般非负边权重的最大割实例的局部最大值是一个PLS完全问题。这个定理的证明还意味着局部搜索算法在最坏情况下需要指数时间。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(开始):::process --> B(初始化割):::process
    B --> C{是否有改进的局部移动?}:::process
    C -- 是 --> D(进行局部移动):::process
    D --> C
    C -- 否 --> E(结束，得到局部最优解):::process

这个流程图展示了最大割问题的局部搜索过程，从初始化割开始，不断检查是否有改进的局部移动，若有则进行移动，直到没有改进的移动为止，最终得到局部最优解。

3. 计算拥塞博弈的PNE

3.1 计算PNE作为PLS问题

拥塞博弈是原子自私路由博弈的自然推广，其中参与者的策略是某个基础集合的任意子集。拥塞博弈由资源集合E、每个参与者i的策略集Si ⊆ 2^E以及每个资源e的可能成本ce(1), …, ce(k)来描述。参与者在结果s中的成本Ci(s)是她使用的资源成本之和。

所有关于原子自私路由博弈的主要结果对于拥塞博弈同样成立，特别是每个拥塞博弈都是势博弈，其势函数为：
[
\Phi(s) = \sum_{e\in E} \sum_{i = 1}^{n_e(s)} c_e(i)
]
并且对于每个结果s、参与者i和i的单边偏离s′i，有：
[
\Phi(s′ i, s {-i}) - \Phi(s) = C_i(s′ i, s {-i}) - C_i(s)
]

我们可以证明计算拥塞博弈的PNE是一个PLS问题。这可以通过拥塞博弈中的最佳响应动态与关于势函数的局部搜索之间的对应关系来证明。具体来说，需要描述定义PLS问题的三个多项式时间算法：
1. 第一个算法以拥塞博弈为输入，返回一个任意结果，例如每个参与者选择其第一个策略的结果。
2. 第二个算法以拥塞博弈和结果s为输入，返回势函数的值。
3. 第三个算法检查给定结果是否为PNE，通过考虑每个参与者的每个单边偏离。如果是，则报告“局部最优”；否则，执行一次最佳响应动态并返回结果，该结果的势函数值更小。

3.2 计算PNE是PLS完全问题

计算拥塞博弈的PNE与任何其他局部搜索问题一样难，即它是PLS完全问题。

我们通过将计算最大割实例的局部最大值问题（已知是PLS完全问题）归约到计算拥塞博弈的PNE问题来证明这一点。给定一个无向图G = (V, E)，构造一个拥塞博弈：
1. 参与者对应于图的顶点V。
2. 对于每条边e ∈ E，有两个资源re和 ¯re。
3. 每个顶点v对应的参与者有两个策略，每个策略包含|δ(v)|个资源，其中δ(v)是图G中与v相邻的边的集合，策略分别为{re}e∈δ(v)和{¯re}e∈δ(v)。
4. 资源re或 ¯re（e = (u, v)）只能由对应于u和v的参与者使用，若只有一个参与者使用，成本为0，若有两个参与者使用，成本为we。

这个构造可以在多项式时间内完成。关键在于这个拥塞博弈的PNE与给定最大割问题的局部最优解一一对应。通过一个双射，将拥塞博弈的2^|V|个结果与图G的割对应起来，割(X, X)对应于这样的结果：每个对应于v ∈ X（或v ∈ X）的参与者选择包含re（或 ¯re）形式资源的策略。这个双射将权重为w(X, X)的割映射到势函数值为W - w(X, X)的结果，其中W是所有边的权重之和。因此，图G的局部最大割与拥塞博弈的势函数的局部最小值一一对应，而势函数的局部最小值又与拥塞博弈的PNE一一对应。

这个归约还表明，最大割问题中局部搜索收敛所需迭代次数的无条件下界可以转化为拥塞博弈中最佳响应动态收敛所需迭代次数的下界。具体来说，使用最佳响应动态计算k个参与者的拥塞博弈的PNE可能需要指数（关于k）级的迭代次数，无论每次迭代如何选择有益的单边偏离。

最大割问题	拥塞博弈
输入：无向图G = (V, E)，边权重we	参与者：对应顶点V；资源：每条边两个资源；策略：每个顶点两个策略；成本：根据使用情况
目标：最大化割边总权重	目标：找到PNE
局部搜索：检查局部移动	最佳响应动态：检查单边偏离
局部最优解	PNE

3.3 对称拥塞博弈

对称拥塞博弈是指每个参与者具有相同策略集的拥塞博弈，它是原子自私路由博弈的一种推广，其中所有参与者有共同的起点和终点。

计算对称拥塞博弈的PNE也是PLS完全问题。我们通过将计算一般拥塞博弈的PNE问题（已知是PLS完全问题）归约到计算对称拥塞博弈的PNE问题来证明。给定一个一般拥塞博弈，构造一个“对称化”版本：
1. 参与者集合保持不变。
2. 新的资源集合是E ∪ {r1, …, rk}，E中的资源保留其成本函数，新资源ri的成本函数定义为：若只有一个参与者使用，成本为0；若有两个或更多参与者使用，成本极大。
3. 每个参与者的策略集Si中的每个策略都补充资源ri，所有参与者的共同策略集为{si ∪ {ri} : i ∈ {1, 2, …, k}, si ∈ Si}。

在构造的对称博弈的PNE中，每个参与者恰好采用原始博弈中一个参与者的身份，这是因为两个参与者选择共享新资源的策略会产生巨大的惩罚。算法A2可以很容易地将这样的PNE映射到原始拥塞博弈的PNE，从而完成归约。

同样，这个证明意味着对称拥塞博弈中最佳响应动态收敛所需迭代次数的无条件下界。使用最佳响应动态计算k个参与者的对称拥塞博弈的PNE可能需要指数（关于k）级的迭代次数，无论每次迭代如何选择有益的单边偏离。

这里需要注意的是，这并不与之前的结果矛盾，即ε - 最佳响应动态在对称拥塞博弈中能快速收敛到近似PNE。原因是ε - 最佳响应动态只收敛到近似PNE，而计算精确PNE是不可处理的。这为对称拥塞博弈中精确PNE和近似PNE的可处理性，以及最佳响应动态和ε - 最佳响应动态的收敛性质提供了有趣的区分。

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(一般拥塞博弈):::process --> B(构造对称拥塞博弈):::process
    B --> C(找到对称博弈PNE):::process
    C --> D(映射到原博弈PNE):::process

这个流程图展示了从一般拥塞博弈到对称拥塞博弈的归约过程，通过构造对称博弈、找到对称博弈的PNE，最后映射回原博弈的PNE。

总结

• 简单自然的动态能在任意博弈中快速收敛到近似CCE和近似CE，在两人零和博弈中快速收敛到近似MNE，在对称拥塞博弈中快速收敛到近似PNE。
• 设计一个能快速计算（近似）均衡的算法比证明简单动态的快速收敛是更弱的目标。
• PLS是抽象局部搜索问题的类，包括计算局部最大图割和计算拥塞博弈的PNE问题。
• 一个问题是PLS完全的，如果PLS中的每个问题都能归约到它。存在多项式时间算法解决PLS完全问题当且仅当每个PLS问题都能在多项式时间内解决，大多数专家认为PLS完全问题不能在多项式时间内解决。
• 计算拥塞博弈的PNE是PLS完全问题，即使在对称拥塞博弈的特殊情况下也是如此。
• 最佳响应动态在拥塞博弈中收敛到PNE可能需要指数级的迭代次数，即使在对称拥塞博弈的特殊情况下也是如此。

这些结果为我们理解博弈论中的均衡计算问题提供了重要的理论基础，也揭示了在某些情况下精确计算均衡的困难性。