Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning读书笔记

最新推荐文章于 2024-06-12 10:01:29 发布
原创 最新推荐文章于 2024-06-12 10:01:29 发布 · 888 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种利用WorldModel模拟用户行为的方法，该方法先通过真实交互训练智能体(agent)，然后使用收集到的数据训练WorldModel，最后依据WorldModel进行规划(planning)来进一步训练智能体，形成闭环的模型化强化学习训练流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

建立了world model用于模拟用户，可以认为是一种model-based RL

每轮训练，首先利用真实交互训练agent，通过得到的数据训练world model，再根据world model做planning训练agent

 

蒙特卡洛树搜索方法介绍——算力聚焦方法(一) Dyna-Q+
静静的学习就好
08-04 1052
蒙特卡洛树搜索方法介绍——算力聚焦方法之Dyna-Q+引言回顾：$Dyna-Q$角度观察规划与学习的结合过程$Dyna-Q$算法中的缺陷求解强化学习任务的核心矛盾如何缓和矛盾——算力聚焦算力聚焦自身的矛盾探索(Exploration)与利用(Exploitation)$Dyna-Q+$算法假设构建对假设的解析 引言 上一节基于规划与学习的差异性介绍了Dyna−QDyna-QDyna−Q架构的具体算法过程。但从真实环境的角度观察，Dyna−QDyna-QDyna−Q架构同样存在各种问题，本节从Dyna−QDy
从代码学习深度强学习 - Dyna-Q 算法 PyTorch版
最新发布
weixin_43887510的博客
06-11 1222
在强化学习（Reinforcement Learning, RL）的广阔天地中，智能体（Agent）通过与环境（Environment）的交互来学习如何做出最优决策。无模型的强化学习（Model-Free RL）和基于模型的强化学习（Model-Based RL）。无模型RL：不尝试理解环境的动态变化，而是直接从与环境交互采样到的数据中学习策略或价值函数。我们熟悉的Q-learning、Sarsa、DQN等都属于这一类。它们通常更通用，但学习效率（即样本复杂度）较低。基于模型RL。
论文解读：Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
夏栀的博客
03-14 952
论文解读：Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning （2018 ACL） 简要信息： 序号 属性 值 1 模型名称 Deep Dyna-Q （DDQ） 2 所属领域 问答系统，强化学习 3 研究内容 任务型多轮对话 4 核心内容 Dyna架构，Q学习 5 GitHub源码 https:// github.com/MiuLab/DDQ 6 论文PDF htt
Deep Dyna-Q 阅读笔记
weixin_44385551的博客
10-03 1134
读论文：Deep Dyna-Q Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning 时间：2018 作者：微软研究院、香港中文大学 源码：https://github.com/MiuLab/DDQ 【按：这个源码太老了，竟然是用py2，numpy实现的】 参考：https://zhuanlan.zhihu.com/p/50223176 内容：任务型对话中基于RL的POL，需要人与agent交互，过去都是
强化学习论文精读书(1)Deep Dyna-Q: Integrating Planning for Task-Completion Dialogue Policy Learning
qq_33328642的博客
03-27 1034
1. 前情提要 虽然这个算法号称的是Deep Dyna-Q网络。但是其实其核心思想用的是DQN网络。特别是在更新策略函数Q(s,a;θQ)Q(s,a;θ_Q)Q(s,a;θQ​)时，使用的就是DQN的训练思想。每C步更新一次策略函数Q(s,a;θQ)Q(s,a;θ_Q)Q(s,a;θQ​)的参数θQθ_QθQ​。如第2行和第42行，θQ’=θQθ_{Q’ }= θ_QθQ’​=θQ​。其中θ_Q是DQN种的预测网络，θQ’θ_{Q’ }θQ’​是DQN中的target 网络。 与DQN不同的是，DDQ有一个
Awesome Scanning 开源项目教程
gitblog_00050的博客
06-12 378
Awesome Scanning 开源项目教程 1. 项目介绍 Awesome Scanning 是一个精心策划的列表，旨在简化并改进纸张和文档扫描。该项目汇集了各种开源和商业工具，涵盖了从桌面应用到移动应用的多种扫描解决方案。无论你是需要扫描书籍、文档，还是进行图像处理和OCR识别，Awesome Scanning 都能为你提供丰富的资源和工具选择。 2. 项目快速启动 2.1 环境准备 在开始...
DDQ升级版
fangting的博客
09-15 362
Switch-based Active Deep Dyna-Q: Efficient Adaptive Planning for Task-Completion Dialogue Policy Learning ？world model和policy model都是从human那里学习，为什么一个是imitation一个是supervised -> 只是起名不同 ？world model...
Dyna的小问题
m0_47353631的博客
05-02 526
我想问一下Dyna里怎么把部件绕着一个轴旋转？怎么移动部件？就是move模块里的东西，刚学不太会用，求大佬教教
《Meta Dialogue Policy Learning》Meta-DTQN (DP + RL)
weixin_44385551的博客
09-28 988
《Meta Dialogue Policy Learning》 作者：微软2020 介绍： 研究任务型对话中DP组件的few shot问题与新领域迁移。 提出了DTQN以利用跨domains的low-level共享信号(如动作、槽位)。 把DTQN嵌入到一个meta-Learning框架，引入了Meta-DTQN。 注意现在这个论文还在under review，所以源码就别想了，不过可以去ConvLab上搜下试试。 Introduction 多领域问答：复杂的系统比如Siri，通常包含thousands
论文笔记-对话系统综述
彼得.攀的blog
09-22 2105
原文出自彼得攀的小站 本文是对论文“A Survey on Dialogue Systems: Recent Advances and New Frontiers”的阅读笔记，该文章是关于对话系统的综述，最后一次修改于2018年年初，主要对2018年之前对话系统相关技术做了一个概要性总结 论文地址 文中[45]这样的编号代表论文中参考文献的编号，可以查阅原始论文 引言 深度学习技术是现在对话系统采...
强化学习（Dyna-Q，Dyna2）
热门推荐
nakaizura
03-28 1万+
基于模型的强化学习（Model Based RL） Value Based --Policy Based --Model Based Value Based学习价值来指导策略，Policy Based直接学习策略以收获最大价值，还有将两者融合的AC。但是在学习价值或策略都十分困难的时候（如某千变万化的围棋），学习模型可能更好，即睁开眼睛看世界，尝试理解所处的环境，通过完成对环境的基本理解来指导强化...
Deep Reinforcement Learning for Dialogue Generation阅读笔记
呜呜哈的博客
12-08 3029
文章亮点 本文是使用深度增强学习DRL的方法来解决多轮对话问题。首先使用Seq-to-Seq模型预训练一个基础模型，然后根据作者提出的三种Reward来计算每次生成的对话的好坏，并使用policy network的方法提升对话响应的多样性、连贯性和对话轮次。文章最大的亮点就在于定义了三种reward（Ease of answering、Information Flow、Semantic Cohe...
对话策略相关论文摘要
qq_20849045的博客
03-28 1181
[1] Peng B, Li X, Gao J, et al. Integrating planning for task-completiondialogue policy learning[J]. 2018.题目：Integrating planning for task-completiondialogue policy learning（在任务导向的对话策略学习中整合规划）作者：Baoli...
ACL 2018 ACCEPTED PAPER
AI小白入门的博客
10-04 1万+
ACL 2018接受了258篇长论文和126篇短论文，总体接受率为24.9％。 论文官方地址：https://acl2018.org/programme/papers/ 详细如下： Long Papers A Framework for Representing Language Acquisition in a Population Setting. Jordan Kodner, Christo...
任务导向型对话系统——对话管理模型研究最新进展
Paper weekly
12-26 2800
作者丨戴音培、虞晖华、蒋溢轩、唐呈光、李永彬、孙健单位丨阿里巴巴-达摩院-小蜜Conversational AI团队，康奈尔大学对话管理模型背景从人工智能研究的初期开始，人们就致力于开发...
Dyna-Q算法过程详解
oceancoco的博客
11-16 753
在强化学习中，“模型”通常指与智能体交互的环境模型，即对环境的状态转移概率和奖励函数进行建模。。无模型强化学习根据智能体与环境交互采样到的数据直接进行策略提升或者价值估计，上一章节讨论的时序差分算法，即Sarsa和Q-learning算法，便是两种无模型的强化学习算法，本书在后续章节中将要介绍的方法也大都是无模型的强化学习算法。在基于模型的强化学习中，模型可以是事先知道的，也可以是根据智能体与环境交互采样到的数据学习得到的，然后用这个模型帮助策略提升或者价值估计。
基于表方法的规划和学习方法读书笔记
qq_34719975的博客
08-16 485
基于表方法的规划和学习方法读书笔记 在这一章中我们从一种统一的视角结合了强化学习中有模型的方法和无模型的方法。基于模型的方法的主要部分是规划，无模型的方法主要依赖学习。这两类方法有共同的基础，首先都是依靠值函数的计算，再者这些方法都是基于未来状态然后靠反向传播来更新当前值函数。 8.1 模型和规划 agent可以根据环境的模型来预计某一动作的反应。有些模型是随机性的，这种情况下每一种反馈都有...
8.1、Tabular Dyna-Q 算法实现
JacobJiang的博客
04-26 1080
算法伪代码：   使用maze环境：maze_env 的代码见这里 import numpy as np import pandas as pd from maze_env import Maze import random class Q(object): def __init__(self, action_space): self.nA = actio...
1. 强化学习篇: Dyna-Q
wangheng673的博客
11-26 7528
像之前我们讨论的大量强化学习方法（DQN, Double DQN, Priorized DQN, Policy Gradient, PPO等等）都是基于model-free的，这也是RL学习的主要优势之一，因为大部分情况下agent所处的环境会非常复杂，很难获得一个model。但是如果我们想学习一个environment模型，或者说是我们已经有一个environment模型，该如何利用这个environment来加快阿agent学习进程？这篇文章就一起探讨下学习处RL的environment模型。文章主要从
Dyna-PS-BayesQL：基于优先级扫描的贝叶斯Q学习新方法
"本文介绍了一种名为Dyna-PS-BayesQL的强化学习算法，该算法结合了贝叶斯Q学习和优先级扫描Dyna结构，旨在解决贝叶斯Q学习在收敛速度和精度上的不足。" 在强化学习领域，马尔科夫决策过程（Markov Decision Process...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值