统计决策与贝叶斯推断（一）（统计决策）

20 世纪 40 年代，瓦尔德首次把损失函数引入到决策论中，提出并建立起统计决策理论，这一理论的某些观点对统计学的发展产生了一定的影响。

统计决策的基本概念

一个决策问题是由三个基本要素组成：状态集、行动集和损失函数。如果以 $\theta$ 表示决策问题中的未知量，那么其所有可能状态的集合就是状态集 Θ = { θ } \Theta=\{\theta\} Θ={ θ}。行动集 A = { a } \mathcal{A}=\{a\} A={ a} 表示决策者可能采取的行动的全体。

一般而言，决策者在作决策时都会考虑后果。用以描述决策后果的函数形式有多种，例如，收益函数 $Q(\theta ,a)$ 描述当未知量处于状态 $\theta$ 而决策者采取行动 $a$ 时所产生的收益。当 $\Theta ,\mathcal{A}$ 都是有限集时，收益函数可用矩阵来表示，此时称其为收益矩阵。

在决策问题中，描述决策后果除了用收益函数外，还有亏损函数、支付函数、成本函数等概念。为了统一和规范，在统计决策中可以把上数概念纳入损失函数这一概念。损失函数 $L(\theta ,a)$ 描述当未知量处于状态 $\theta$ 而决策者采取行动 $a$ 时所引起的损失。

统计决策中所说的损失可理解为“该赚而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。例如，某商店本可赚 3000 元，由于决策失误而亏了 1000 元，则就认为该商店损失了 4000 元。

如在决策问题中原先采用的是收益函数 $Q(\theta ,a)$，假如当未知量处于状态 $\theta$ 时的最大收益为 ${\max }_{a\in \mathcal{A}}Q(\theta ,a)$，则采取行动 $a$ 的损失可定义为
$$L(\theta ,a)=\underset{a\in \mathcal{A}}{\max }Q(\theta ,a)-Q(\theta ,a)$$
在统计决策论中总是假定损失函数为非负函数。也就是认为，采取任何决策都会有损失，最理想的情形是损失为零。

为了更好地做出决策，还需设法获取各种有用的信息。依统计决策论的观点，对决策有用的信息有以下两类：

1. 一是先验信息，即，人们在过去对未知量 $\theta$ 的各种状态所获得的信息。
2. 二是样本信息，即，通过适当的抽样调查，从抽取的样本中获得未知量 $\theta$ 的最新信息。

大多数决策问题都要用到样本信息。如果一个决策问题中没有样本信息，那么这样的决策问题称为无数据（无样本信息）决策问题。如果一个决策问题中利用了有关的样本信息，那么这样的决策问题称为统计决策问题。如果一个决策问题中即利用了样本信息还利用了先验信息，那么这样的决策问题称为贝叶斯决策问题。

常用的损失函数

线性损失函数：
$$L(\theta ,a)=\{\begin{array}{l}{K}_0(\end{array}$$