深度强化学习在足式机器人中的应用 (六) 多模态感知与终身学习（Multi‑Modal Perception & Lifelong Learning

多模态感知与终身学习（Multi‑Modal Perception & Lifelong Learning）

本文基于 优快云 博主 VectorShift 的原始文章，遵循 CC 4.0 BY‑SA 版权协议。
原文链接：

---

1️⃣ 背景与动机

• 多模态感知：在机器人、自动驾驶等领域，单一传感器往往信息不完整或易受环境干扰。将 RGB/D 摄像头 + LiDAR 等多源数据融合，可获得更鲁棒、更丰富的观测空间。
• 终身学习（Lifelong Learning）：真实世界任务是连续不断、分阶段出现的，模型需要在保持旧知识的同时快速适应新任务。传统深度网络往往面临灾难性遗忘。

本文从两方面展开：

1. 端到端与模块化视觉感知融合方案；
2. 多任务学习与持续学习策略（Elastic Weight Consolidation、Replay 等）。

---

2️⃣ 视觉感知融合

2.1 端到端 vs 模块化

方法	优点	缺点
端到端（End‑to‑End）