决策理论（decision theory）

决策理论（decision theory）

决策论背后的核心思想是最小化期望损失
定义清楚期望损失，问题就转变成最优化问题，带入优化器，就迎刃而解了。
这里例举一个垃圾邮件过滤的例子，
要预测垃圾邮件$x$是模型的输入变量，$y$为观察值，$\hat{y}$是模型的预测值，
令0代表垃圾邮件，1代表非垃圾邮件。

#	实际值 $y=0$(垃圾邮件)	实际值$y=1$(非垃圾邮件)
预测值$\hat{y}=0$ (垃圾邮件)	0	100
预测值$\hat{y}=0$ (非垃圾邮件)	1	0

上面是为过滤垃圾邮件设计的混淆矩阵，其中数值表示损失函数的权重，数值100所在的格子代表非垃圾邮件被分类器分为垃圾邮件，这种情况是不能忍受的，会导致我们看不到有用的邮件，所以损失函数被赋予较高的权重。
下面看两个常见的损失函数定义
“0-1损失”：

$$L(y,\hat{y})=I(y\neq \hat{y})=\begin{cases} 0& if \quad y = \hat{y}\\ 1& \text{else} \end{cases}$$
“平方损失”
$$L(y,\hat{y})=(y-\hat{y})^2$$