www‘18文献阅读分享 DRN: A Deep Reinforcement Learning Framework for News Recommendation

标题	期刊	年份	关键词	研究背景	创新点
DRN: A Deep Reinforcement Learning Framework for News Recommendation	WWW 2018	2018	Reinforcement learning, Deep Q-Learning, News recommendation	在线个性化新闻推荐面临新闻特征和用户偏好的动态变化，现有方法仅关注当前奖励（如点击率），忽略了长期影响和用户反馈的多样性，且容易推荐相似内容导致用户疲劳。	1. 提出基于深度强化学习（DQN）的框架，显式建模未来奖励。<br>2. 将用户返回模式作为用户反馈的补充，以捕捉更多用户反馈信息。<br>3. 引入有效的探索策略（Dueling Bandit Gradient Descent），避免推荐完全不相关的内容，提高推荐多样性。

📖 论文背景

在信息爆炸的时代，新闻推荐系统成为帮助用户筛选海量信息的关键工具。然而，新闻推荐面临诸多挑战：新闻内容更新迅速，用户兴趣动态变化，传统推荐系统难以捕捉这些动态特征。此外，现有方法大多只关注短期点击率（CTR），忽略了长期用户反馈和推荐多样性，容易导致用户疲劳。因此，如何设计一个能够动态适应用户偏好的推荐系统，成为研究热点。

传统不足：

 只关注当前奖励（Current Reward）

• 问题描述：
  现有的在线推荐系统大多只关注当前的点击率（Click-Through Rate, CTR），即用户是否会点击推荐的新闻。然而，这种短期优化忽略了当前推荐对用户未来行为的潜在影响。

用户反馈信息有限（Limited User Feedback）

• 问题描述：
  现有推荐系统大多只依赖用户是否点击（点击/未点击标签）作为反馈信号，忽略了其他形式的用户反馈。

推荐内容单一化（Homogeneous Recommendations）

• 问题描述：
  现有推荐系统倾向于不断向用户推荐相似的新闻内容，这可能导致用户感到厌倦（User Boredom）。

 探索策略的不足（Ineffective Exploration Strategies）

• 问题描述：
  现有推荐系统大多采用简单的ϵ-greedy策略或Upper Confidence Bound（UCB）方法进行探索。然而，这些方法存在明显缺陷：ϵ-greedy可能会推荐完全不相关的新闻，而UCB需要多次尝试才能准确估计一个新闻的潜在奖励。

🛠️ 相关工作

• 新闻推荐算法：包括基于内容的方法、协同过滤方法和混合方法。基于内容的方法通过新闻的TF-IDF特征和用户历史新闻构建用户画像，协同过滤方法利用用户或物品的历史评分进行预测，混合方法结合两者优势。近期，深度学习模型因其能建模复杂用户-物品关系而成为新趋势.
• 强化学习在推荐中的应用：分为上下文多臂老虎机模型和马尔可夫决策过程模型。上下文多臂老虎机模型将用户和物品特征作为上下文，假设期望奖励是上下文的线性函数；马尔可夫决策过程模型能同时捕获当前迭代和未来迭代的潜在奖励，但状态空间大且数据稀疏，难以学习.

🧠 模型图输入输出转变

• 输入：用户特征（如点击新闻的标题、提供者、排名等）、新闻特征（如新闻的标题、类别、点击量等）、用户-新闻交互特征（如用户阅读历史中实体的频率）和上下文特征（如请求时间、新闻新鲜度等）.
• 输出：推荐新闻列表，基于模型预测的潜在奖励（用户点击概率和用户活跃度）进行排序，选择top-k新闻推荐给用户.

该模型框架旨在解决在线个性化新闻推荐问题，充分考虑了新闻特征和用户偏好的动态性，以及如何有效利用用户反馈信息。它巧妙地融合了离线学习和在线学习，以实现模型的高效训练和实时更新。以下是模型框架的详细介绍：

离线部分

特征提取

• 新闻特征：从新闻数据中提取417维的独热特征，涵盖新闻的标题、提供者、排名、实体名称、类别、主题类别，以及在不同时间粒度（1小时、6小时、24小时、1周、1年）内的点击量等信息。这些特征全面描述了新闻的属性和受欢迎程度.
• 用户特征：主要描述用户在过去不同时间粒度（1小时、6小时、24小时、1周、1年）内点击的新闻的特征，包括新闻的标题、提供者、排名、实体名称、类别和主题类别，以及每个时间粒度的总点击量。用户特征共有2065维，精准刻画了用户的兴趣演变和行为模式.
• 用户-新闻交互特征：25维特征，描述用户与特定新闻之间的互动情况，如用户阅读历史中实体（以及类别、主题类别和提供者）出现的频率。这些特征反映了用户对特定新闻内容的偏好程度.
• 上下文特征：32维特征，描述新闻请求发生时的上下文信息，包括请求时间、星期几以及新闻的新鲜度（请求时间与新闻发布时间的差距）。上下文特征有助于捕捉用户在不同场景下的阅读需求和偏好变化.

模型训练

• 使用多层深度Q网络（Deep Q-Network，简称DQN）来预测用户对特定新闻的潜在奖励，即用户点击该新闻的概率以及用户活跃度的估计值。DQN通过学习用户特征、新闻特征、用户-新闻交互特征和上下文特征之间的复杂关系，建立从特征到潜在奖励的映射.
• 离线训练时，利用用户-新闻点击日志作为训练数据，通过监督学习的方式优化DQN的参数，使其能够准确预测用户对新闻的点击行为和活跃度反馈.

在线部分

推荐过程

• PUSH阶段：当用户发起新闻请求时，推荐代理G将当前用户的特征表示和候选新闻的特征表示作为输入，生成一个top-k的新闻推荐列表L。这个过程结合了当前模型的利用（exploitation）和对新项目的探索（exploration）.
  • 利用：根据训练好的DQN模型，计算每个候选新闻的潜在奖励，选择潜在奖励最高的前k个新闻作为推荐结果.
  • 探索：采用Dueling Bandit Gradient Descent算法，生成一个探索网络Q̃，其参数W̃通过对当前网络参数W添加一个小扰动∆W得到。然后，通过概率性交错（probabilistic interleave）的方式，将利用网络生成的推荐列表L和探索网络生成的推荐列表L̃合并成最终的推荐列表L̂，以在推荐准确性和多样性之间取得平衡.
• FEEDBACK阶段：用户接收到推荐新闻列表L后，通过点击行为给出反馈B。反馈信息包括用户对推荐新闻的点击情况，以及用户活跃度的变化.
• 模型更新
  • MINOR UPDATE阶段：在每个时间戳（如t1、t2、t3等）之后，推荐代理G会根据用户反馈B和之前的用户特征、新闻列表L，比较利用网络Q和探索网络Q̃的推荐性能。如果Q̃的推荐结果更好，则将当前网络参数更新为Q̃的参数，否则保持Q不变。这种小更新可以频繁地进行，以快速适应用户行为的变化.
  • MAJOR UPDATE阶段：在一定时间间隔（如1小时）之后，推荐代理G会使用存储在内存中的用户反馈B和用户活跃度信息，通过经验回放（experience replay）技术更新DQN网络。具体来说，从内存中随机抽取一批历史记录，利用这些记录来优化DQN的参数，使其更好地适应新的用户行为模式和新闻特征变化.

模型优势

• 动态适应性：通过在线学习和实时更新机制，模型能够及时捕捉新闻特征和用户偏好的动态变化，保持推荐结果的新鲜度和准确性.
• 综合考虑用户反馈：不仅关注用户的点击行为，还将用户活跃度作为重要的反馈信息，更全面地衡量推荐效果，促进用户与推荐系统的长期互动.
• 平衡探索与利用：采用Dueling Bandit Gradient Descent探索策略，在推荐过程中既能够发现新的潜在热门新闻，又不会过多牺牲推荐准确性，实现推荐多样性和准确性的良好平衡.

📊 实验

• 数据集：从商业新闻推荐应用中收集的采样离线数据集，包含6个月的数据，用于离线实验；在线阶段部署到App中，持续1个月.
• 评估指标：点击率（CTR）、Precision@k和nDCG，分别衡量推荐的准确性和多样性.
• 结果：离线实验中，模型在CTR和nDCG上均优于基线方法，如逻辑回归、因子分解机和Wide & Deep模型。在线实验中，模型在CTR、Precision@5和nDCG上显著优于其他模型，且用户点击新闻的多样性也更高.

🚀 方法介绍与创新

• 方法：提出一个基于深度Q学习（DQN）的推荐框架，能同时考虑当前奖励和未来奖励。模型采用连续状态和动作表示，输入用户和新闻特征，通过多层DQN预测潜在奖励。模型框架分为离线部分和在线部分，离线部分用于特征提取和模型训练，在线部分与用户交互并实时更新模型.
• 创新：
  • 显式建模未来奖励：与以往方法不同，该框架能显式预测用户未来与新闻的交互，从而在长期内获得更高奖励.
  • 用户活跃度反馈：将用户返回模式作为点击/未点击标签的补充，通过生存模型估计用户活跃度，为推荐提供额外信息.
  • 有效探索策略：采用Dueling Bandit Gradient Descent方法进行探索，避免了传统ϵ-greedy和UCB策略对推荐准确性的短期损害，同时提高了推荐多样性.