白水的博客

Decision Service框架将整条强化学习链路拆解为探索（Explore）、记录（Log）、学习（Learn）、部署（Deploy）四个可独立演进却首尾相接的模块。想要学到“成年人偏好政治新闻、青少年偏好体育新闻”这类映射，就不能再用传统监督学习的思路，而需要借助上下文多臂赌博机（contextual bandit）等强化学习方法，通过精心涉及的系统来解决探索、偏差和延迟带来的挑战。

推荐系统中确实存在反馈循环现象。研究表明，用户与推荐系统的交互会形成三个阶段循环：用户行为数据收集、系统学习推荐策略、策略应用于用户推荐。这种循环会导致偏差放大效应，如马太效应，使得热门内容更热门。强化学习通过探索与利用的平衡机制，尝试打破这种偏差循环。反馈循环建模已成为强化学习推荐系统的重要基础，证明推荐算法不仅能反映用户兴趣，还能影响和塑造用户偏好。