Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving

最新推荐文章于 2025-05-23 09:02:45 发布
原创 最新推荐文章于 2025-05-23 09:02:45 发布 · 714 阅读 · 0 ·
CC 4.0 BY-SA版权
本文为博主原创文章，转载请声明作者rockray21。如有问题，欢迎指正。
文章标签：

#人工智能

本文探讨了将强化学习应用于高级驾驶策略选择，通过策略梯度法解决最优策略，同时引入语义图降低不确定性，确保自动驾驶安全。通过分解问题为可学习和不可学习部分，以及使用有向无环图（DAG）降低采样复杂度，解决了策略梯度法的方差问题。此外，语义图增强了决策的可解释性，降低了决策频率，并提高了系统安全性。

如有错误，欢迎指正
本文翻译为机翻，仅作初步了解学习使用，需要用到的时候再回来整理。
如有侵权，请私信本人。
论文没有给源代码
原文地址:https://arxiv.org/pdf/1610.03295.pdf
参考链接:https://zhuanlan.zhihu.com/p/25673276

Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving

自动驾驶过程实际上是多智能体决策的问题

本文把机器学习的方法应用于高级驾驶策略的选择，而非我们通常意义上的局部路径规划。高级策略使用机器学习的方法可以很好地使用数据驱动，而避免精密而脆弱的人工设计。而局部路径规划模块可以根据高级策略输出进行有针对性的路径选择，所有的不安全因素都会在该层被阻断。这样的系统架构很好地避免了机器学习决策系统的不确定性所带来的危险，给增强学习的应用指出了一条可行之路。

本工作的主要贡献有三点：

  1. 使用策略梯度迭代的方法求解最优策略，并证明了马尔科夫假设在策略梯度法中的不必要性。同时使用baseline的方法，最小化对累积奖励估计的方差。
  2. 把学习目标划分为可学习与不可学习的部分，其中不可学习的部分是，对问题的硬约束，其目的是保证系统运行的最基本安全。
  3. 通过引入一个有向无环图（DAG），对原始问题进行分解。既增强了算法的语义解释性，又降低了对累积奖励估计的方差及采样复杂度。

使用策略梯度法进行增强学习，对奖

最低0.47元/天 解锁文章
LLM Based Multi-Agent System 基于 AI 大模型的多智能体系统
AI大模型应用之禅
08-27 1695
LLM-based Multi-Agent System 基于 AI 大模型的多智能体系统 > 关键词：大语言模型、多智能体系统、人工智能、协作、自主性、分布式智能、任务分解
多智能体强化学习 (MultiAgent Reinforcement Learning)
AI天才研究院
07-09 1762
多智能体强化学习 (Multi-Agent Reinforcement Learning) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：多智能体系统, 协作与竞争, 强化学习, 自动化决
强化学习与自动驾驶-Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving
weixin_44230823的博客
05-06 1343
读了一篇文章 “Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving”，因为我本人不是做强化学习的，所以读的路上磕磕绊绊…除了阅读原文，还借鉴了一些他人的理解，链接也贴在下面了，有细节不懂的强烈建议看看！之后才对文章有个大概认识，我用自己的理解顺序来给大家介绍，如有问题欢迎批评指正。 原文链接：https://arxiv.org/pdf/1610.03295.pdf 参考链接1：https://zhuanlan.zhihu.com/
《Virtual to Real Reinforcement Learning for Autonomous Driving》翻译
weixin_44188264的博客
04-17 1314
《Virtual to Real Reinforcement Learning for Autonomous Driving》 摘要：强化学习被认为是推动政策学习的一个有前景的方向。然而，在实际环境中，用强化学习训练自动驾驶车辆涉及到无法负担的试错。最好先在虚拟环境中培训，然后再转移到真实环境中。本文提出了一种新颖的现实翻译网络，使在虚拟环境中训练的翻译模型在现实世界中具有可操作性。该网络可以将非...
【笔记SDRL】
wq6qeg88的博客
12-24 957
Risk-constrained reinforcement learning with percentile risk criteria， Paper， ， Not Find Code（被《机器学习研究杂志》接受，2017 年）Safe， Multi-Agent， Reinforcement Learning for Autonomous Driving， Paper， Not Find Code（仅限 Arxiv，2016 年，引文 530+）
《强化学习周刊》第41期：MERLIN、分散式多智能体强化学习、异步强化学习
BAAIBeijing的博客
04-06 1706
No.41智源社区强化学习组强化学习研究观点资源活动周刊订阅告诉大家一个好消息，《强化学习周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《强化学习周刊》。订阅方法：方式1：扫描下面二维码，进入《强化学习周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《强化学习周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊强化学习作为人工...
强化学习入门：多智能体系统与安全强化学习实战
最新发布
2501_91624122的博客
05-23 863
强化学习（RL）作为机器学习的重要分支，近年来在多智能体系统（MARL）和安全强化学习（SafeRL）领域取得了显著进展。MARL通过多个智能体在共享环境中的交互学习，广泛应用于自动驾驶、智能交通和机器人协作等场景。SafeRL则确保智能体在学习过程中遵守安全约束，避免危险行为，在自动驾驶和机器人控制等高风险领域尤为重要。本文从强化学习的基础概念出发，介绍了MARL和SafeRL的基本原理，并通过智能交通灯控制和自动驾驶避障的实战案例，展示了这些技术的实际应用和实现方法。这些技术在复杂环境中的协同与安全控制
强化学习与自动驾驶-Deep Reinforcement Learning for Autonomous Driving: A Survey
weixin_44230823的博客
04-22 2754
最近一直在看用cv的方法进行轨迹预测，大老板说也许可以用强化学习来做，于是读了21年的 “Deep Reinforcement Learning for Autonomous Driving: A Survey” 这篇文章。接下来把我的理解展现并分享给大家，作为我之后工作的一个可能的基础，也希望能帮助到做自动驾驶的童鞋们~ 原文链接：https://ieeexplore.ieee.org/document/9351818 监督学习在自动驾驶研究中不适用 机器学习分为监督学习、非监督学习以及强化学习（RL）
【综述】【博弈论视角下的多智能体强化学习综述】
wq6qeg88的博客
03-31 1796
（Schmidhuber，，2015），它可以在高维数据中找到解纠缠的表示（Bengio，，2009），这使得软件能够训练自己执行新任务，而不仅仅是依靠程序员来设计手工制作的规则。这个博弈的纳什均衡（NE）是（rush，yield）和（yield，rush）。的进步以AlphaGo系列（Silver et al.，， 2016， 2017， 2018）的显着成功为标志，这是一个自学成才的RL代理，击败了游戏GO的顶级职业玩家，该游戏的搜索空间（ 10761 可能的游戏）甚至大于宇宙中的原子数量。
MARL（multi-agent reinforcement learning）的一些边缘文章（imitation、transfer、security等）
mmc2015的专栏
11-07 5999
参考：https://github.com/LantaoYu/MARL-Papers 7.4.2、Inverse MARL [1] Cooperative inverse reinforcement learning by Hadfield-Menell D,Russell S J, Abbeel P, et al. NIPS, 2016. [2] Comparison of Mul
自动驾驶大量资料
人工智能
03-22 1万+
https://handong1587.github.io/deep_learning/2015/10/09/dl-and-autonomous-driving.html Deep Learning and Autonomous Driving  Published: 09 Oct 2015  Category: deep_learning Jump to...
读书笔记 - Multi-agent Reinforcement Learning for Traffic Signal Control
能能
10-12 7911
《Multi-agent Reinforcement Learning for Traffic Signal Control》 在本文中，我们将 traffic signal control (TSC) 问题制定为**折扣成本马尔可夫决策过程（MDP）**并应用多智能体强化学习（MARL）算法来获得动态TSC策略。 我们将每个交通信号交叉点建模为独立代理，代理使用基于e-greedy或UCB【3】...
《Deep Reinforcement Learning framework for Autonomous Driving》翻译
weixin_44188264的博客
04-25 1633
《Deep Reinforcement Learning framework for Autonomous Driving》翻译 摘要 强化学习被认为是一种强大的人工智能范式，可以通过与环境的互动和从错误中学习来教机器。尽管它被认为是实用的，但它还没有成功地应用于汽车应用。基于Atari游戏学习的成功演示和Go by谷歌DeepMind，我们提出了一个使用深度强化学习的自主驾驶框架。这一点特别重要...
强化学习自动驾驶论文阅读（二）
weixin_45042545的博客
06-16 1768
（一）paper传送门 Model-free Deep Reinforcement Learning for Urban Autonomous Driving （二）背景知识 强化学习（RL）---------------------------《Reinforcement Learning：An Introduction》第二版 Soft Actor-Critic（SAC）--------------------https://www.jianshu.com/p/9708bb0676b2 Variatio
multi fields不生效_arXiv论文“Multi-Agent Connected Autonomous Driving”
weixin_39743695的博客
10-29 138
arXiv2019年11月11日上载微软员工的论文“Multi-Agent Connected Autonomous Driving using Deep Reinforcement Learning“ 。摘要：学习和适应驾驶环境变化的能力对于开发在地理围栏（geofenced）以外的自动驾驶系统至关重要。深度强化学习（RL）提供了一个有前途且可扩展的框架，用于开发基于自适应学习的解决方案。深度R...
笔记：余凯 基于深度学习的自动驾驶之路
我的博客
12-23 1202
笔记：余凯 基于深度学习的自动驾驶之路Deep Learning 观点 DNN在结构和行为上作用 Ex AlphaGo受到CV NN影响 适合Bigdata End-to-End 灵活建模 Bigdata 大量数据 针对特定问题需要持续创新 智者VS改变家 以往DL以单方面感知为主 改变世界 - 决策行动 增强学习 - 描述成决策与环境的博弈，对行动改变世界和世界的反馈 计算平台 - 云、端；高效
MADRL（多智能体深度强化学习）
热门推荐
rockray21的博客
01-23 1万+
MADRL（多智能体深度强化学习）《多Agent深度强化学习综述》 《多Agent深度强化学习综述》 从多 agent 深度强化学习中通信过程的角度对现有的多 agent 深度强化学习算法进行归纳，将其归纳为全通信集中决策、全通信自主决策、欠通信自主决策三种主流形式。 当前 DRL 的两个主要方向 – 深度 Q 网络和深度策略梯度。一种是用神经网络函数近似Q网络，另一种是将状态空间映射到动作空间的函数或者分布，策略优化的目标是寻找最优的策略映射。 两者针对的过程不同 连续动作空间的策略梯度算法分为随机策
ICLR 2020 多智能体强化学习论文总结
rockray21的博客
09-29 5845
ICLR 2020 多智能体强化学习论文总结如有错误，欢迎指正所引用内容链接Multi-Agent RL1.Multi-agent Reinforcement Learning For Networked System Control2.Intrinsic Motivation For Encouraging Synergistic Behavior3.Meta Reinforcement Learning With Autonomous Inference Of Subtask Dependencies4
2020ICML多智能体强化学习论文简介
rockray21的博客
09-22 3454
强化学习最新论文汇总如有错误，欢迎指正所引用内容链接强化学习论文汇总2020 如有错误，欢迎指正 本篇为自我学习过程中的要点记录，仅作学习使用。 所引用内容的链接将全部粘贴于下方，如有侵权，请与本人联系。 所引用内容链接 强化学习论文汇总2020 ...
Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks
05-21
### 多智能体强化学习在电力配网主动电压控制中的应用 多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）近年来被广泛应用于解决复杂系统的优化问题，尤其是在电力系统领域。对于电力配网的主动电压控制（Active Voltage Control），MARL 提供了一种有效的解决方案来应对分布式能源接入带来的挑战。 #### 背景与挑战 随着可再生能源渗透率的增加以及负荷模式的变化，传统基于集中式控制器的方法难以适应现代配电网络的需求。这些方法通常假设电网参数已知并保持不变，但在实际运行中存在大量不确定性因素，例如天气条件变化引起的光伏出力波动或电动汽车充电行为的影响[^1]。因此，采用自适应性强的学习算法成为必要选择之一。 #### 方法论概述 为了实现高效可靠的AVC功能，在该场景下可以构建如下框架： 1. **建模阶段** - 将整个配电网划分为若干子区域，每个区域内配置一个本地代理(agent)，负责监测局部状态变量(如节点电压幅值、线路电流大小等)并通过通信机制与其他相邻代理共享信息。 - 定义全局奖励函数以反映整体性能指标，比如维持所有母线处的实际测量值处于规定范围内；同时考虑经济成本最小化目标作为辅助项加入其中。 2. **训练过程** 使用深度Q网络(DQN)扩展版本——独立DQN (ID-DQN)[^1] 或者更先进的协作对抗策略(CACLA)，让各个agent分别探索各自动作空间内的最佳决策序列。在此期间需要注意平衡探索与利用之间的关系，并通过经验回放技术提高样本利用率从而加快收敛速度。 3. **执行环节** 当模型经过充分迭代达到稳定状态后即可部署到真实环境中投入使用。此时各终端设备只需按照预设规则周期性上传实时数据给对应controller端计算得出下一步操作指令下发至现场执行单元完成调节任务。 ```python import numpy as np from keras.models import Sequential from keras.layers import Dense def build_model(input_dim, output_dim): model = Sequential() model.add(Dense(64, input_dim=input_dim, activation='relu')) model.add(Dense(output_dim, activation='linear')) model.compile(loss="mse", optimizer="adam") return model class Agent: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.model = build_model(state_size, action_size) def act(self, state): q_values = self.model.predict(np.array([state])) return np.argmax(q_values[0]) agents = [] # Initialize multiple agents here based on network topology. for _ in range(num_agents): agent = Agent(state_size=..., action_size=...) agents.append(agent) # Training loop omitted for brevity... ``` 以上伪代码展示了如何创建单个Agent及其神经网络结构定义方式。具体实现还需依据项目具体情况调整超参设置等内容。 #### 结果分析 实验表明相比单一RL方案而言，MA-RLL能够显著提升调控精度及时效性表现，特别是在面对大规模互联型微网群组时优势更加明显。此外由于引入了分层架构设计理念故而具备良好拓展能力便于未来进一步升级扩容需求[^1]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值