40、多智能体学习方法：从理论到实践

多智能体学习方法：从理论到实践

1. 进化模型方法

在多智能体学习领域，有几种重要的进化模型方法，包括 FAQ、LFAQ、FALA 和 RM。
- FAQ 和 LFAQ ：
- FAQ 的进化动态方程为：$\frac{dx_i}{dt} = \frac{\alpha x_i}{\tau} [(Ay) i - x^T Ay]+x_i\alpha\sum_j x_j\ln(\frac{x_j}{x_i})$。
- LFAQ 中，$u_i = \sum_j A {ij}y_j \left[\sum_{k:A_{ik}\leq A_{ij}} y_k\right]^{\kappa} - \left[\sum_{k:A_{ik}< A_{ij}} y_k\right]^{\kappa} \big/ \sum_{k:A_{ik}= A_{ij}} y_k$，且$\frac{dx_i}{dt} = \frac{\alpha x_i}{\tau} (u_i - x^T u)+x_i\alpha\sum_j x_j\ln(\frac{x_j}{x_i})$。
- 通过在不同游戏（如性别之战、囚徒困境、匹配硬币）中的策略轨迹图可以发现，FAQ 和 LFAQ 的行为符合其进化模型的预测。在囚徒困境中，所有轨迹都收敛到游戏的纳什均衡 (D,D)，即图中的 (0,0) 点。
- FALA 和 RM ：
- FALA 的进化动态方程为：$\frac{dx_i}{dt} = \alpha x_i[(Ay)_i - x^T Ay]$。
- RM 的进化动态方程为：$\frac{d