13、决策理论详解

决策理论详解

1. 引言

在许多实际应用中，我们的目标往往比单纯最小化分类错误数量更为复杂。以医疗诊断问题为例，误诊的后果可能截然不同。若将健康患者误诊为癌症患者，可能会给患者带来困扰并需要进一步检查；而将癌症患者误诊为健康人，则可能因缺乏治疗导致过早死亡。因此，我们需要一种更合理的方式来处理决策问题，这就引出了决策理论。

2. 损失函数与期望损失最小化

2.1 损失函数的引入

为了更准确地评估决策的后果，我们引入损失函数（也称为成本函数）。它是衡量做出任何可用决策或行动所产生损失的单一总体指标。我们的目标是最小化总损失。

假设对于新的输入值 (x)，其真实类别为 (C_k)，而我们将其分配到类别 (C_j)（(j) 可能等于也可能不等于 (k)），此时产生的损失记为 (L_{kj})，可以将其视为损失矩阵的第 (k) 行第 (j) 列元素。

例如，在癌症诊断问题中，可能的损失矩阵如下：
| 真实类别 \ 分配类别 | 癌症 | 正常 |
| — | — | — |
| 癌症 | 0 | 1000 |
| 正常 | 1 | 0 |

这个损失矩阵表明：如果做出正确决策，没有损失；如果将健康患者误诊为癌症患者，损失为 1；如果将癌症患者误诊为健康人，损失为 1000。

2.2 期望损失的计算

最优解是使损失函数最小化的解。然而，损失函数依赖于未知的真实类别。对于给定的输入向量 (x)，我们对真实类别的不确定性通过联合概率分布 (p(x, C_k)) 来表示，因此我们转而寻求最小化平均损失，即期望损失。