【阅读随笔】Safe reinforcement learning under temporal logic with reward design and quantum action selecti

原创 已于 2023-07-03 19:32:46 修改 · 681 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#量子计算 #算法 #形式化 #控制 #学习

于 2023-06-27 20:19:01 首次发布
该文提出了结合量子计算的强化学习方法，特别是利用Grover搜索算法优化动作选择，以提升安全性和效率。文章关注于在满足临时逻辑（LTL）约束的同时，设计安全奖励函数和基于嵌入式极限确定性博弈自动机（E-LDGBA）的模型，以确保智能体在无限和有限时间域的任务中避免不安全状态。

今天读一篇来自Nature最水子刊SR的作品，名字中的量子动作选择听起来非常高大上，来看看是个什么东西

[1] M. Cai, S. Xiao, J. Li, and Z. Kan, “Safe reinforcement learning under temporal logic with reward design and quantum action selection,” Sci Rep, vol. 13, no. 1, Art. no. 1, Feb. 2023, doi: 10.1038/s41598-023-28582-4.

文章目录

Outline

  • reward shaping - 避免稀疏奖励
  • safety value functions
  • quantum action selction
  • Embedded Limit-Deterministic Generalized Buchi Automaton
  • tasks of infinite and finite horizons

Introduction

安全强化学习

安全强化学习是指在学习过程中避免访问不安全状态。（Comment: 在仿真场景下，这个概念其实并没有讨论的意义，只有在真实的物理环境下进行学习时才有必要讨论安全问题。）当前的方法要么对系统假设过强、要么仅考虑安全而不考虑任务进度。

基于抽象的MDP

[16] Li, X., Serlin, Z., Yang, G. & Belta, C. A formal methods approach to interpretable reinforcement learning for robotic planning. Sci. Robot. 4 (37), (2019).
这篇文章设计了基于鲁棒度的自动机并结合了CBF来辅助学习，但是只考虑有限时域的任务

[17] Hasanbeig, M., Abate, A., & Kroening, D. Cautious reinforcement learning with logical constraints. AAMAS’20: Proceedings of the 19th International Conference on Autonomous Agents and MultiAgent Systems, 483–491 (2020).
使用LDGBA来记录LTL完成状态，使用model-based safe padding技术防止系统进入不安全状态，但是不能有效描述accepting sets

量子计算

机器学习与量子计算的结合称为QML，研究的是如何将数据编码为量子状态并利用量子系统的叠加属性解决具体问题。在强化学习中，可以使用量子计算加速神经网络，从而加入DRL的学习过程。

本文工作

  • 提出了一种数学上严谨的reward设计规则
  • 设计model-based safe padding来提高安全性，以一定的概率下界防止智能体落入坏状态
  • 用E-LDGBA编码无限时域的LTL
  • 提出safety value function与传统的value function相结合
  • 提出了一种基于势函数的reward-shaping方法来避免稀疏奖励
  • 使用量子计算方法改进了传统RL的e-greedy动作选择

Problem Formulation

Preliminaries

在问题陈述前，先介绍一下本文中涉及的一些概念

Quantum computing

  • 量子比特：0/1状态的叠加（薛定谔）状态，只有当测量的时候其0,1值才发生坍缩 ∣ q 1 > = α 0 ∣ 0 > + α 1 ∣ 1 > \left|q_1\right>=\alpha_0\left|0\right>+\alpha_1 \left|1\right> ∣q1​⟩=α0​∣0⟩+α1​∣1⟩，其中 α 0 , α 1 \alpha_0,\alpha_1 α0​,α1​是两个复数，其模的平方表示坍缩为0或1的概率
  • 量子状态：由n个量子比特表示的一个状态变量，有 2 n 2^n 2n中坍缩可能，因此可写为以下形式 ∣ ψ n > = ∣ q 1 q 2 … q n > = ∑ k = 0 2 n − 1 a k ∣ k > \left|\psi_n\right>=\left|q_1q_2\dots q_n\right>=\sum_{k=0}^{2^n-1}a_k\left|k\right> ∣ψn​⟩=∣q1​
最低0.47元/天 解锁文章
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES利用量子波兹曼机进行强化学习
weixin_41697507的博客
07-07 2047
REINFORCEMENT LEARNING USING QUANTUM BOLTZMANN MACHINES Abstract. We investigate whether quantum annealers with select chip layouts can outperform classical computers in reinforcement learning tasks. ...
A Comprehensive Survey on Graph Neural Networks(图神经网络综合研究)
weixin_41697507的博客
07-06 7783
A Comprehensive Survey on Graph Neural Networks Zonghan Wu, Shirui Pan, Member, IEEE, Fengwen Chen, Guodong Long, Chengqi Zhang, Senior Member, IEEE, Philip S. Yu, Fellow, IEEE Abstract—Deep learning ...
【论文复现】Safe reinforcement learning: A control barrier function optimization approach
qq_43435956的博客
06-05 6059
【论文复现】Safe reinforcement learning: A control barrier function optimization approach 作者：Zahra Marvi Bahare Kiumarsi 期刊：Int J Robust Nonlinear Control 时间：2020 摘要 本文提出了一种基于学习的屏障认证方法来学习安全的最优控制器，该控制器保证安全关键系统在其安全区域内运行，同时提供最佳性能。编码设计者目标的成本函数增加了控制屏障函数 (CBF)，以确保安全性和
【阅读笔记】Safe Reinforcement Learning for Control Systems: A Hybrid Systems Perspective and Case Study
eddddd’ world
03-17 1584
Hybrid Systems: Computation and Control HSCC 2019 文章目录摘要Introduction基于学习控制系统的形式化模型 摘要 RL在游戏方面取得的成就主要用于具有离散环境和主体的系统。在安全-计算机-物理系统应用中使用RL的一个关键问题是 在确保他们安全的同时还要使他们能够学习是很困难的。本文提出了一种用于学习非线性连续动力学控制系统安全策略的框架 F...
论文阅读笔记-Safe Reinforcement Learning via Online Shielding
qq_33452705的博客
03-23 1834
文章目录AbstractIntroductionPreliminaries Abstract 本文关注已知动力模型的情况，目标是验证仿真学到的策略满足一个给定的安全约束。已有的方法收到很多限制-如不可扩展到高维状态空间，且仅能验证固定环境的安全性。本文提出一个基于shielding的方法，当需要的时候用一个候补策略来覆盖学到的策略以保证安全性。本文的策略是一种online的策略，在保证高效的计算效...
强化学习中的SafeReinforcementLearning
AI天才研究院
01-28 1011
1.背景介绍 1. 背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它允许智能体在环境中进行交互，从中学习如何做出最佳决策。强化学习的目标是找到一种策略，使得智能体在长期内获得最大化的累积奖励。然而，在实际应用中，强化学习可能会导致一些安全问题，例如智能体可能会采取危险行为，从而导致不利的后果。因此，研究强化学习中的安全性是非常重要的。 在本文中...
【RL Latest Tech】安全强化学习（Safe RL）：理论、方法与应用
热门推荐
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
10-07 2万+
在强化学习（Reinforcement Learning, RL）中，智能体通过与环境的交互来学习一个策略，以最大化长期累积回报。然而，传统的强化学习算法在优化回报时往往不考虑智能体行为的安全性，导致在训练或部署过程中可能出现不安全的行为。**安全强化学习（Safe Reinforcement Learning，Safe RL）**正是在此背景下提出的，它旨在在优化回报的同时确保智能体的行为符合某些安全约束。这对于实际应用尤为重要，如自动驾驶、机器人控制、医疗系统等场景中，安全问题至关重要，任何不安全的行为
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
《鸽姆后人类时代文明宪章》（第一至三篇）（中英文对照）
首席技术执行官CTO(Chief Technology Officer)|技术总监--邓斌博客
09-09 1145
《鸽姆后人类时代文明宪章白皮书》提出后人类时代的系统性框架，主张智慧应成为文明公共基础设施。白皮书从哲学基点、宪章原则、治理架构等六方面构建未来文明体系，强调主体多元化（人类/AI/增强人类等共为主体）、智慧优先、认知正义等核心原则。通过"存在-智慧-文明"三元框架界定后人类边界，指出技术融合、认知扩展和社会重构将突破传统人类局限。白皮书呼吁建立行星级治理体系，推动人类与AI协同进化，为星际文明奠定基础，最终实现跨维度宇宙文明共同体。
【论文翻译】A Comprehensive Survey on Safe Reinforcement Learning
Eric_Pxz的博客
06-01 1640
本篇译文为方便自己再次阅读而记录，源自Google翻译和CNKI翻译助手。 习惯用语保持英文（例：agent），一些细微之处结合自己理解稍加修改，为方便阅读，译文删除了参考文献相关部分。 才疏学浅，未读懂或不确定处在[ ]内附英文原文，欢迎大家指正，有任何侵权或者不妥之处请及时告知，将尽快处理。 摘要 安全强化学习可以定义为在学习和/或部署过程中确保合理的系统性能和/或尊重安全约束很重要的问题的回报期望最大化的学习策略的过程。 我们对安全强化学习的两种方法进行分类和分析。 第一个是基于最优性标准的修..
安全强化学习是什么？
wq6qeg88的博客
03-21 1224
例如，在自动驾驶汽车中，安全强化学习可以确保汽车在遇到突发情况时做出安全的驾驶决策，以及在游戏领域，安全强化学习可以确保智能角色在游戏中不会做出不安全的行为。在许多现实世界的应用场景中，智能体需要在安全性方面满足一定的要求，例如在自动驾驶汽车中避免交通事故，或者在金融领域防止恶意攻击等。在自动驾驶领域，安全强化学习可以确保汽车在各种路况下做出安全的驾驶决策，以及在金融领域，安全强化学习可以确保交易系统在面对恶意攻击时保持安全性。安全性与性能的权衡 在安全强化学习中，通常需要权衡安全性与性能之间的关系。
安全强化学习（Safe Reinforcement Learning）算法详解与Python实现
qq_42568323的博客
01-02 2052
安全强化学习是一种在强化学习框架中引入安全性约束的方法，旨在确保智能体在学习过程中始终满足安全性要求。安全性约束可以是硬约束（必须满足）或软约束（尽可能满足）。本文详细介绍了安全强化学习的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。安全强化学习在处理需要确保安全性的任务时具有显著优势，能够通过引入安全性约束来确保智能体在学习过程中始终满足安全性要求。
强化学习Reinforcement Learning的功能性安全与风险管理分析
AI天才研究院
06-01 1236
1.背景介绍 在人工智能领域中，强化学习（Reinforcement Learning, RL）是一种重要的学习范式，它关注智能体如何在环境中采取行动以最大化某种累积奖励。随着深度学习和大数据的发展，强化学习已经在多个领域取得了显著的成就，包括游戏、机器人控制、自动驾驶汽车等。然而，尽管其强大的潜力，强化学习在实际应用中的功能性安全和风险管理方面仍然面
强化学习入门：多智能体系统与安全强化学习实战
2501_91624122的博客
05-23 839
强化学习（RL）作为机器学习的重要分支，近年来在多智能体系统（MARL）和安全强化学习（SafeRL）领域取得了显著进展。MARL通过多个智能体在共享环境中的交互学习，广泛应用于自动驾驶、智能交通和机器人协作等场景。SafeRL则确保智能体在学习过程中遵守安全约束，避免危险行为，在自动驾驶和机器人控制等高风险领域尤为重要。本文从强化学习的基础概念出发，介绍了MARL和SafeRL的基本原理，并通过智能交通灯控制和自动驾驶避障的实战案例，展示了这些技术的实际应用和实现方法。这些技术在复杂环境中的协同与安全控制
第十二讲：强化学习（Reinforcement Learning）和控制（Control）
xyk_hust的博客
01-27 1万+
这一章我们就要学习强化学习（reinforcement learning）和适应性控制（adaptive control）了。 在监督学习（supervised learning）中，我们已经见过的一些算法，输出的标签类 yyy 都是在训练集中已经存在的。这种情况下，对于每个输入特征 xxx，都有一个对应的标签作为明确的“正确答案（right answer）”。与之相反，在很多的连续判断（sequ...
量子纠缠：颠覆认知的宇宙密码
最新发布
jiushun_suanli的博客
11-25 1947
量子纠缠是量子力学中粒子间的非经典强关联现象，即使相隔遥远也能即时相互影响。其核心特性包括非定域性和贝尔态表示，已通过实验验证违反贝尔不等式。在量子计算中，纠缠态是实现并行计算的基础资源，支持Grover算法、Shor算法等突破性应用。当前主要实现平台包括超导量子比特、离子阱系统和光量子计算等，但仍面临退相干、纠错等挑战。未来将聚焦新型量子纠错、混合算法开发及硬件稳定性提升，推动量子技术发展。
C++ 字符串 模拟 力扣 14. 最长公共前缀 每日一题 题解
Q741_147的博客
11-23 746
本文围绕LeetCode 14“最长公共前缀”这一字符串经典入门题展开，解析其作为面试高频题的核心价值——夯实模拟思维、边界处理与代码优化能力。文章详细阐述横向遍历（两两对比）与纵向遍历（逐位验证）两种核心算法原理，提供完整可运行的C++代码，拆解关键细节与易错点，并进行复杂度分析。同时总结解题核心考点、思路迁移方向及常见错误，帮助读者不仅掌握本题解法，更能提升字符串处理能力，为后续复杂题型奠定基础，兼具入门指导与面试备考价值。
【软考】算法
weixin_49929829的博客
11-23 209
分治、动态规划、贪心、回溯算法基本思想
我爱学算法之—— BFS之最短路径问题
LH__1314的博客
11-23 986
本文介绍了三道基于广度优先搜索（BFS）的算法题目：迷宫最短出口、最小基因变化和单词接龙。 迷宫最短出口：使用BFS从入口开始遍历迷宫，记录每个位置到入口的步数，最终在边界搜索最短路径。 最小基因变化：将基因序列视为节点，通过单字符变化生成相邻节点，在基因库中用BFS寻找最小变化次数。 单词接龙：与基因变化类似，从起始单词出发，通过单字符变化在字典中寻找最短转换序列。 三题均采用BFS框架，结合哈希表优化访问判断，重点考察状态转换和最短路径搜索。其中迷宫问题关注边界条件，后两题则通过字符串变换实现状态转移。
safe reinforcement learning
06-28
### 回答1： 安全强化学习是一种强化学习的方法，旨在确保智能体在学习过程中不会造成不良影响。它通过限制智能体的行为，以避免不安全的行为，并在学习过程中监测和纠正不安全的行为。安全强化学习在实际应用中具有重要意义，可以确保智能体在执行任务时不会对环境或人类造成伤害。 ### 回答2： 安全强化学习（Safe Reinforcement Learning，简称SRL）是一种强化学习的变体，其目标是在机器学习应用中确保系统的安全性和稳定性。传统的强化学习可能会出现不稳定性和危险性，因为它依赖于与环境的交互，而这种交互可能导致系统错误地采取行动，导致意外的结果。在这种情况下，SRL的任务就是降低系统的风险，从而保证系统在执行任务的过程中能够避免不良后果。 SRL的一种实现方式是采用约束优化的方法，即在强化学习算法的基础上增加了额外的约束条件。这些额外的条件通常是针对系统的安全性和稳定性，约束代表了系统在执行任务时应该避免的行为或结果。这些约束可以是预定义的，也可以是动态生成的，这取决于应用场景和任务特定的要求。 除了约束优化之外，另一种实现SRL的方法是使用模型检测技术。模型检测技术可以在强化学习算法的模型中插入额外的限制，使得算法在训练过程中能够检测到潜在的安全问题，并且可以在出现问题的情况下停止或者进行故障恢复。 总的来说，安全强化学习是在强化学习的基础上增加了额外的安全和稳定的限制，从而能够应对更加复杂和危险的应用场景。这种技术的发展将会推动机器学习在更加广泛领域的使用，并且提高应用系统的安全性和稳定性。 ### 回答3： 安全加强学习（Safe Reinforcement Learning，简称SRL）是强化学习中的一个重要分支，旨在通过减少意外风险，确保强化学习算法在实际部署时的安全性。安全加强学习的发展是由于在很多实际应用中，往往没有完整的模型，且强化学习在实际环境中可能会存在意外的、不可预测的风险，例如机器人碰撞、交通事故等。 安全加强学习的核心思想是在保证最小化风险的同时，最大化性能的提升。其中，风险的定义是在目标之外的不可控制的不良事件或结果，可以包括利润萎缩、损失或人身伤害。安全加强学习算法需要在学习过程中对风险进行评估和限制，并在实际部署时对算法进行验证。 目前，安全加强学习的研究已经有了很多进展和应用。例如在医疗应用中，安全加强学习可以用于人工药物筛选，以提高生产率和安全性；在智能驾驶中，安全加强学习可以用于构建自动驾驶汽车，以提高安全性和减少交通事故发生率等。 总之，安全加强学习是强化学习中的一个热门研究方向，其目标是在保证最小化风险的同时，实现算法的高性能。随着技术不断发展，安全加强学习有望在很多领域发挥重要作用，为人工智能技术的发展带来更多新的创新。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值