MPC模型预测控制与RL强化学习的差异性

模型预测控制（Model Predict Control，MPC）

模型预测控制与强化学习的差异性调研

概述

MPC 是一种使用数学模型在有限时间内实时优化控制系统的技术，自二十世纪六七十年代问世以来，已广泛应用于化学工程、炼油、先进制造、机器人和航空航天等各个领域。

杨立昆（Meta首席科学家）认为模型预测控制（MPC）比强化学习（RL）更加出色。他认为，强化学习这种方法需要大量的试验，非常低效。这和人类的学习方式大相径庭 —— 婴儿不是通过观察一百万个相同物体的样本来识别物体，或者尝试危险的东西并从中学习，而是通过观察、预测和与它们互动，即使没有监督。杨立昆还认为RL的一些概念是MPC一直长期在做的，只不过是RL赋予了新的名称

下面是杨立坤在社交平台上发布的观点

MPC Method

使用系统的数学模型来预测未来的行为，然后利用该知识来产生控制操作，以最大化某些性能目标。

• 建立预测模型
• 求解优化问题
• 应用控制输入并更新

应用举例：

强化学习（RL） VS 模型预测控制（MPC）

特征	强化学习（RL）	模型预测控制（MPC）
Model	系统模型不是必要的	需要系统模型
Learning	通过试错来学习	用数学模型来预测
Speed	慢，尤其是针对复杂问题	快，尤其针对简单问题
Robustness	敏感	稳定
Sample efficiency	样本效率低	相较于RL样本效率更高
Applicability	应用范围更加广阔	已知或建模良好的场景

使用场景

• 对于难以建模或具有复杂动态的问题，强化学习是合适的选择
• 对于建模良好且动态可预测的问题，MPC 是一个不错的选择

MPC是一个规则的设定和建模，而RL主要去处理一些黑盒问题（LLM）