AI203:多臂强盗算法（四）：上置信界算法（Upper Confidence Bound Algorithm）

He Des

已于 2024-12-29 21:00:05 修改

阅读量647

点赞数 19

文章标签：算法人工智能

于 2024-12-24 13:59:48 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/a_metaman/article/details/144691371

版权

一.ETC算法总结

ETC算法探索了每一只臂m次，然后在未来的所有轮次里再利用找到的拥有最大平均奖励的臂

$k=2,R_{n}\cong \frac{4}{\Delta}\log n,\ m=\lceil\frac{4}{\Delta^{2}}\log n\rceil$

$Note:\cong$ 的意思是当 $n$ 足够大时， $R_{n}$ 的增长速率与其渐进相等，意味的并不是数值相等，而是增长速率相等。

$arbitrary\ k,R_{n}=\sum_{i=2}^{k}\lceil{\frac{4\log n}{\min_{j\neq 1}\Delta_{j}^{2}}}\rceil\Delta_{i},m=\lceil\frac{4\log n}{\min_{j\neq 1}\Delta_{j}^{2}}\rceil$

实际情况选择 $m=\lceil\frac{4\log n}{\Delta^{2}}\rceil$ ，由此可见，选探索的次数依赖于总轮数 $n$ （时间步长，通常是已知的）和 $\Delta$ （次优间隙，通常是未知的）

二.上置信界算法

由板块一可知，ETC算法在选探索的次数的时候，很多情况下，所依赖的次优间隙是未知的，以及探索阶段到利用阶段的转换是突变的，探索每一个臂的次数也是同样的。<

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。