强化学习——探索与利用基本方法

探索和利用的困局（exploration exploitation dilemma）：

• 利用是做出当前信息下的最佳决定，
• 探索则是尝试不同的行为继而收集更多的信息。最好的长期战略通常包含一些牺牲短期利益举措。通过搜集更多或者说足够多的信息使得个体能够达到宏观上的最佳策略。

几个基本的策略

• 朴素探索(Naive Exploration): 在贪婪搜索的基础上增加一个Ɛ以实现朴素探索；
• 乐观初始估计(Optimistic Initialization): 优先选择当前被认为是最高价值的行为，除非新信息的获取推翻了该行为具有最高价值这一认知；
• 概率匹配（Probability Matching): 根据当前估计的概率分布采样行为；
• 信息状态搜索(Information State Search): 将已探索的信息作为状态的一部分联合个体的状态组成新的状态，以新状态为基础进行前向探索。

原文链接：https://blog.youkuaiyun.com/dukuku5038/article/details/84782354