25、贝叶斯决策理论入门

贝叶斯决策理论入门

1. 贝叶斯决策理论概述

贝叶斯推理通过计算后验概率 $p(H|x)$，为我们在给定观测数据 $X = x$ 时更新对隐藏量 $H$ 的信念提供了最优方法。然而，最终我们需要将这些信念转化为实际行动。贝叶斯决策理论正是用于解决如何决定最佳行动的问题。

2. 基础知识

在决策理论中，决策者（或智能体）有一组可能的行动 $A$ 可供选择。例如，医生治疗可能患有 COVID - 19 的患者时，行动可能包括：什么都不做、让患者在家隔离或给患者进行治疗。

每个行动都有成本和收益，这取决于自然状态 $H \in \mathcal{H}$。我们使用损失函数 $\ell(h, a)$ 来表示在自然状态为 $h \in \mathcal{H}$ 时采取行动 $a \in A$ 所产生的损失。

以医生治疗癌症患者为例，假设患者有三种可能的状态：没有癌症、患有轻度癌症或患有严重癌症；医生有三种可能的行动：什么都不做、给药或进行手术。损失函数可以用以下损失矩阵表示：
| | 什么都不做 | 给药 | 手术 |
| — | — | — | — |
| 没有癌症 | 0 | 5 | 10 |
| 轻度癌症 | 10 | 1 | 5 |
| 严重癌症 | 20 | 10 | 5 |

这些数字反映了不同可能结果的相对成本和收益。例如，患者没有癌症时什么都不做不会产生损失，但患者患有严重癌症时什么都不做会产生 20 的损失。

一旦确定了损失函数，我们可以为每个可能的行动计算后验期望损失：
$R(a|x) \triangleq E_{p(h|x)} [