【周志华 机器学习】入门（下）

目录

六、贝叶斯决策论

6.1 贝叶斯决策论的基础

6.1.1 贝叶斯定理

6.1.2 贝叶斯决策论的定义

6.2 判别式模型和生成式模型

6.3 频率主义和贝叶斯主义

6.3.1 定义比较

6.3.2 模型构建比较

6.4 极大似然估计(MLE）

6.5 朴素贝叶斯分类器(Naive Bayes Classifier)

七、集成学习

7.1核心思想

7.2 主要类型和方法

7.2.1 Bagging（Bootstrap Aggregating）

7.2.2 Boosting

八 、聚类(Clustering)

8.1 定义

8.2 常见聚类算法

8.2.1 K-means聚类

8.2.1.1 算法实现流程

8.2.1.2 优缺点分析

8.2.2 DBSCAN算法

8.2.2.1 算法核心参数

8.2.2.2 算法实现流程

8.2.2.3优缺点分析

---

六、贝叶斯决策论

6.1 贝叶斯决策论的基础

6.1.1 贝叶斯定理

贝叶斯定理是概率论中的一个基本定理，用来计算在已知一些相关数据的情况下，某事件的概率。

数学表达式为：

其中

• P(A|B)指在事件B发生的前提下事件A发生的条件概率，称为后验概率
• P(B|A)指在事件A发生的前提下事件B发生的条件概率，称为似然度
• P(A)和P(B)分别指事件A和事件B的先验概率

6.1.2 贝叶斯决策论的定义

贝叶斯决策论的核心思想是基于后验概率来选择使得期望损失最小的决策

实现过程：

1.定义决策空间：确定决策集合

2.建立先验概率：对决策问题进行建模，定义每个可能的状态或类别 的先验概率分布 

3.估计条件概率： 估计在每个可能的状态 下观察到数据 x 的条件概率分布

4.计算后验概率：利用贝叶斯定理，计算在观察到数据 x 后每个可能状态  的后验概率分布  

5.选择最优决策：根据后验概率分布和损失函数 ，选择能够最小化期望损失的最优决策 的数学表达书为：

其中 是决策 d 在真实状态  下的损失

6.2 判别式模型和生成式模型

判别式模型：关注的是通过学习输入数据与输出标签之间的映射关系来进行预测，直接学习类别之间的决策边界或者决策函数。

代表：

• 决策树
• BP神经网络
• SVM

生成式模型：关注的是学习数据的联合概率分布，能够推断出样本的特征，并生成新的样本

代表：

• 贝叶斯分类器

6.3 频率主义和贝叶斯主义

6.3.1 定义比较

频率主义：频率主义将模型的参数视为固定且真实存在的，通过多次实验来逼近这个固定值

贝叶斯主义：贝叶斯主义将所有的参数都被视为随机变量，每个值都有可能是真实模型使用的值，只是概率不同而已。