alva_bobo的博客

Bandit算法是在线学习的一种，一切通过数据收集而得到的概率预估任务，都能通过Bandit系列算法来进行在线优化。这里的“在线”，指的不是互联网意义上的线上，而是只算法模型参数根据观察数据不断演变。以多臂老虎机问题为例，首先我们假设每个臂是否产生收益，其背后有一个概率分布，产生收益的概率为p我们不断地试验，去估计出一个置信度较高的概率p的概率分布就能近似解决这个问题了。怎

UCB再回顾上回书说到，UCB这个小伙子在做EE(Exploit-Explore)的时候表现不错，只可惜啊，是一个不关心组织的上下文无关(context free)bandit算法，它只管埋头干活，根本不观察一下面对的都是些什么样的arm。进一步送UCB去深造之前，我们再把UCB算法要解决的问题描述一下：面对固定的K个item（广告或推荐物品），我们没有任何先验知识，每

机器学习主要分为三大类，有监督学习、无监督学习和增强学习，其中前两大类大家已经很熟悉了，第三类增强学习是指如何在得到临时性的反馈下学习，bandit问题就是增强学习领域一个热门的研究方向。而我目前就在做这部分的研究，所以先从这个问题讲起。我们一般考虑的bandit(强盗)带有K个arm，每个回合拨动一个arm，得到一个奖励，bandit问题就是研究如何使这些奖励最大化。但由于通常回合数是不固定