34、基于马尔可夫决策过程的无人车模型与面部欺骗检测技术

基于马尔可夫决策过程的无人车模型与面部欺骗检测技术

基于马尔可夫决策过程的无人车管道检测模型

在管道检测场景中，利用马尔可夫决策过程（MDP）来构建无人车模型是一种有效的方法。

MDP 动作

MDP 动作是机器人代理针对所检测管道的观测条件可能做出的反应，同时也代表了机器人代理（UGV）在检测过程中任意时刻所处的状态。主要动作包括开始（Start）、扫描（Scan）和标记（Mark），其中扫描和标记主要根据管道的观测条件触发。这些动作构成了机器人代理的状态空间 S。具体的可能动作及对应奖励如下表所示：
| S/N | STATE | POSSIBLE ACTION |
| — | — | — |
| 1 | NORMAL | START, MOVE, SCAN |
| 2 | CORROSION | MARK |

状态 - 动作转移矩阵如下：
| PIPE CONDITION | ACTION | NORMAL | CORROSION |
| — | — | — | — |
| NORMAL | START, MOVE, SCAN | - | MARK |
| CORROSION | SCAN | - | MARK |

UGV 状态转移矩阵如下：
| UGVSTATE|TRANSITION | START | SCAN | MARK |
| — | — | — | — |
| START | F | T (NORMAL) | F |
| SCAN | F | F | T (If Corrosion is detecte