18、贝叶斯方法：原理、计算与应用

贝叶斯方法：原理、计算与应用

1. 贝叶斯方法概述

贝叶斯方法曾一度被认为具有争议性，但如今它与机器学习中的不同理论流派并存。该方法可通过理性主体应如何推理和行动的公理规定，以及一致性原则来进行论证。在学习情境中，概率用于推断感兴趣问题的模型，然后利用效用基于这些模型推荐预测或分析。

2. 基本理论

2.1 基本定义

• 概率表示 ：概率以 $p(x|C)$ 的形式表示，其中 $C$ 是当前已知的上下文，$x$ 是某个感兴趣的事件。只需在 $C$ 中放置与 $x$ 相关的项，并忽略默认假设的项。同时，$x$ 和 $C$ 都必须是定义明确的事件。例如，“John is tall” 不是一个定义明确的事件，应替换为 “John is greater than 6 foot tall” 或 “Julie said John is tall”。
• 期望值 ：对于某个事件 $x$ 来自空间 $\Omega$ 的函数 $f(x)$，$f()$ 的期望值为 $E_{x\in\Omega}[f(x)]$。
• 效用 ：效用用于衡量价值或相对满意度，通常表示为结果的函数。成本是负效用，收益是正效用。效用在价值上应具有可加性，在实际中常以货币单位来解释。严格来说，货币的价值是非线性的，但在预期金融交易范围合理时，它是足够的。
• 期望效用 ：期望效用是效用函数的期望值，是贝叶斯方法评估的基本量。不同场景下的期望效用如下：
  | 场景 | 结果