贝叶斯

1. 贝叶斯学习算法与机器学习相关的两个原因：
    1. 贝叶斯学习算法能够计算显示的假设概率，比如朴素贝叶斯分类器。
    2. 贝叶斯方法为理解多数学习算法提供了一种有效的手段，而这些算法不一定直接操纵概率数据。

2. 贝叶斯方法的难度：
    1. 需要概率的先验知识。当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假设来估计概率。
    2. 确定贝叶斯最优假设的计算代价比较大。

3. 贝叶斯公式：
    1. 贝叶斯公式提供了从先验概率p(h)，p(D)和p(D|h)计算后验概率p(h|D)的方法： p(h|D) = (p(D|h)*p(h))/p(D)
    2. p(h|D)随着p(h)和p(D|h)的增长而增长，随着p(D)的增长而减少，即如果D独立于h时，被观察到的可能性越大，那么D对h的支持度越低。

4. 极大似然假设：
    1. 有时可假设H中每个假设有相同的先验概率，只需考虑p(D|h)来寻找极大可能假设。
    2. P(D|h)常被称为给定h时数据D的似然度，而使得p(D}h)最大的假设被称为极大似然假设 h = argmax p(D|h)。
    3. 假设空间H可以扩展为任意的互斥命题集合，只要这些命题的概率之和为1。

5. 基本概率公式表：
    1. 乘法规则：P(A 交 B) = P(A|B)P(B) = P(B|A)P(A)。
    2. 加法规则：P(A 并 B) = P(A) + P(B) - P(A 交 B)。
    3. 贝叶斯法则：P(h|D) = P(D|h)p(h)/p(D)。

6.  采用正态分布的合理性
    1. 数学计算的简洁性。
    2. 对许多物理系统的噪声都有良好的近似。
    3. 由许多独立同分布的因素的和所生成的噪声将成为正态分布。