28、强化学习与模仿学习相关问题解析

强化学习与模仿学习相关问题解析

1. 增量均值估计练习

给定样本集 (x(1:5) = {1.0, 1.8, 2.0, 1.6, 2.2})，使用学习率 (\alpha = 0.1) 和 (\alpha = 0.5) 分别进行增量均值估计，初始均值设为第一个样本。
- 学习率 (\alpha = 0.1) 时 ：
- (\hat{x}_1 = 1.0)
- (\hat{x}_2 = 1.0 + 0.1(1.8 - 1.0) = 1.08)
- (\hat{x}_3 = 1.08 + 0.1(2.0 - 1.08) = 1.172)
- (\hat{x}_4 = 1.172 + 0.1(1.6 - 1.172) \approx 1.215)
- (\hat{x}_5 = 1.215 + 0.1(2.2 - 1.215) \approx 1.313)
- 学习率 (\alpha = 0.5) 时 ：
- (\hat{x}_1 = 1.0)
- (\hat{x}_2 = 1.0 + 0.5(1.8 - 1.0) = 1.4)
- (\hat{x}_3 = 1.4 + 0.5(2.0 - 1.4) = 1.7)
- (\hat{x}_4 = 1.7 + 0.5(1.6 - 1.7) = 1.65)
- (\hat{x}_5 = 1.65 + 0.5(2.2 - 1.65) = 1.925)

2. 增量估计方法选择

在完成上述两种方法的五次样本均值估计后，若有一个额外样本 (x(6)) 用于最