25、强化学习与群体学习模型详解

强化学习与群体学习模型详解

1. 强化学习算法

1.1 Minimax - Q学习

在重复的匹配硬币游戏中，Minimax - Q学习有具体的表现。以下是其部分数据示例：
| t | Actions | Reward1 | Qt(H, H) | Qt(H, T) | Qt(T, H) | Qt(T, T) | V(s) | π1(H) |
| — | — | — | — | — | — | — | — | — |
| 0 | | 1 | 1 | 1 | 1 | 1 | 0.5 | |
| 1 | (H*,H) | 1 | 1.9 | 1 | 1 | 1 | 1 | 0.5 |
| 2 | (T,H) | -1 | 1.9 | 1 | -0.1 | 1 | 1 | 0.55 |
|… |… |… |… |… |… |… |… |… |
| 100 | (H,H) | 1 | 1.716 | -0.269 | -0.277 | 1.730 | 0.725 | 0.503 |
|… |… |… |… |… |… |… |… |… |
| 1000 | (T,T) | 1 | 1.564 | -0.426 | -0.415 | 1.564 | 0.574 | 0.500 |

1.2 R - max算法

R - max算法是一种基于模型的学习算法。它的工作流程如下：
1. 初始化：将每个状态值的估计初始化为游戏中可能获得的最高奖励，体现了面对不确定性时的乐观主义，有助于确保智能体充分探索环境。
2. 策略计算：利用这些乐观值为游戏计算最大最小策略。