【学习笔记】集成学习-基础与算法 第一章(2)

本文是基于《集成学习 基础与算法》的学习笔记。
文章大部分内容来自于网络的各种博客总结，本博文仅仅作为本人学习笔记，不做商业用途。

---

---

1.2 常用学习算法

1.2.3 神经网络

神经网络 (Neural Network), 上图所示的是多层前馈网络 (multi-layer feed-forward network)。输入层接收输入特征向量，输出层输出标记，输入层和输出层之间的层被称为隐层。

最常用的训练思路是梯度下降 (gradient descent) 方法。

误差逆传播算法 (BP) 是最为成功的神经网络训练算法。输入经过输出层、隐层前馈计算到达输出层，在输出层种对网络输出和样本标记进行比较并计算误差；然后，这些误差再经过隐层反向传播回输入层，在传播的过程中算法会调整连接权重和激发阈值以降低误差。整个过程按梯度方向调节各个参数的值，并执行多轮，直到训练误差减小到预定目标范围。

1.2.4 朴素贝叶斯

​为了对测试样例 $\mathbf{x}$ 进行分类，学习算法可以通过构建概率模型来估计后验概率 $P(y|\mathbf{x})$，并选取具有最大后验概率值的 $y$ 作为输出；这就是最大后验概率 (maximum a posteriori, MAP) 准则。基于贝叶斯定理，
$$\begin{array}{rl}& \frac{P(y|\mathbf{x})=P(\mathbf{x}|y)P(y)}{P(\mathbf{x})}\end{array}$$
​$P(y)$ 可以通过计算训练数据集中每个类的比例获得。
​$P(\mathbf{x})$ 由于是在同一个 $x$ 上比较不同 $y$​，可被忽略。
仅需考虑 $P(\mathbf{x}|y)$ ，为此，需要引入一些假设。

朴素贝叶斯分类器 (naive Bayes classifier) 假设给定类别标记， $n$ 个特征之间是独立的。因此，
P ( (