博弈论——重复博弈

版权声明：本文为原创文章，未经博主允许不得用于商业用途。

    在单次博弈模型中，除了相关均衡外，一般纳什均衡点只能保证不会获得最坏的情况，而都不是整体最优解。比较明显的例子为囚徒困境问题，显然最佳策略应该为都不坦白，这样两人都会无罪释放，不过纳什均衡点确是都选择坦白减刑。
    重复博弈可以一定程度上解决这个问题，在重复博弈中，玩家的目的从当前收益最大化转变为在多次博弈中利益最大化，因此就可能会选择合作策略获得长远来看的更大收益。

基本概念

• 重复博弈$G^T(\delta )$中，G={N,{Ai},{ui}}G=\{N,\{A_i\},\{u_i\}\}G={N,{Ai​},{ui​}}

  • 重复次数T：$t=1,2,...T$为当前的次数

• 博弈结果：$a^t=(a_1^t,a_2^t,...a_N^t)$为第i次博弈中的策略

• 贴现因子(discount factor)：定义参数$\delta \in [0,1]$为贴现因子控制收益随时间的削减速度，也可以理解为玩家的耐心程度。

  • 重复博弈的收益遵从"Today’s $1 payoff is more valuable than tomorrow’s $1"准则，即主观的收益会随着时间指数削减。

• 收益函数$u_i=u_i(a^1)+\delta u_i(a^2)+{\delta }^2{u}_i(a^3)+...+{\delta }^{T-1}{u}_i(a^T)={\sum }_t{\delta }^{t-1}{u}_i(a^t)$

• 历史：若规定一次博弈策略集为$\Sigma$，则t次博弈的历史集合为$H_t={\Sigma }^t$，$h_t\in H_t$为其中一种历史。

• 重复博弈其实可以看作一个特殊的扩展式博弈，每层为一次博弈过程。因此同样具有SPNE，定义为在当前历史$h_t$条件下的纳什均衡。

  • 定理：对于有穷重复博弈，如果G有纯策略纳什均衡a*，则每次博弈都有唯一的SPNE(a*,a*,…)

• 若一个玩家退出合作策略，其他玩家也会终止合作

• Folk Theorem：对于$G^T(\delta )$，$G$的纳什均衡为$a^{\ast }=(a_1^{\ast },a_2^{\ast },...,a_N^{\ast })$，收益为$u^{\ast }=(u_1^{\ast },u_2^{\ast },...,u_N^{\ast })$。若存在策略$\hat{a}=(\widehat{a_1},\widehat{a_2},...,\widehat{a_N})$，使得对于每位玩家，$\hat{a}$收益高于$a^{\ast }$，则存在贴现因子使得重复选择策略$\hat{a}$可以达到SPNE

  • 触发策略(Trigger Strategies)：若$h_t=(\hat{a},\hat{a},...\hat{a})$，则$s^t=\hat{a}$，否则$s^t=a^{\ast }$。即发生一次背叛后就永远不再合作。
  • 由于$\hat{a}$不是纳什均衡策略，因此一定存在某一玩家拥有单次博弈中更高收益的策略，这也是背叛的来源。
  • 在多玩家重复博弈中，选择玩家中合作时贴现因子最小值的最大值作为整体的贴现因子下界。

• 在有些情况下会选择原谅模型，即惩罚n轮后恢复合作状态。

例题1：

无限次囚徒困境：

重复进行无限次囚徒困境博弈，收益矩阵为：$\left[\begin{array}{cc}(0,0)& (2,-1)\\ (-1,2)& (1,1)\end{array}\right]$

• 如果两玩家都选择不坦白，即S={(d,d),(d,d),...}S=\{(d,d),(d,d),...\}S={(d,d),(d,d),...}，则收益$U=1+\delta +{\delta }^2+...=\frac{1}{1-\delta }$
• 如果一人在t次博弈中坦白，则以后他们不再合作，$U=1+\delta +...+{\delta }^{t-1}+2{\delta }^t+0+0...=$，因此在第一次即坦白时收益最大，为2

综上，当$\delta >1/2$时（耐心更大时），$\frac{1}{1-\delta }$>2，此时一直合作可以达到SPNE，否则双方将选择一直坦白。

例题2：

Bertrand Model(伯特兰德模型)：

两家公司有相同的边际成本c，且定价pi∈{1,2,...,c,...,9,10}p_i\in\{1,2,...,c,...,9,10\}pi​∈{1,2,...,c,...,9,10}，市场需求为1，收益函数为：$u_1(p_1,p_2)=\{\begin{array}{cc}{p}_1-c& p_1<p_2\\ (p_1-c)/2& p_1=p_2\\ 0& p_1>p_2\end{array}$

显然单次博弈的纳什均衡点为(c,c)，此时双方收益都为0。假定一方退出合作后双方都会不再合作。

合作模式下的最佳收益策略为(10,10)。则：

• 合作模式下收益为：$U=(10-c)/2\times \frac{1}{1-\delta }$
• 假设玩家1在t时开始拒绝合作，此时其收益为$p_1-c$，因此最佳策略为9，接下来双方都会选择c。因此收益函数为：$U^{\ast }=(10-c)/2\times (1+\delta +...+{\delta }^{t-1})+{\delta }^t(9-c)$

若$U^{\ast }\le U$，则$U\ast -U\le 0$，即${\delta }^t(9-c)\le (10-c)/2\times ({\delta }^t+{\delta }^{t+1}+...)\iff 9-c\le (10-c)/2\times (1+\delta +{\delta }^2+...)=(10-c)/2\times \frac{1}{1-\delta }$

解得：$\delta \ge \frac{8-c}{18-2c}$