了解➔熟悉➔掌握➔精通

不知不觉间，又一个40期的机器学习专栏也走到了尾声。在专栏里，我从理解概率的两大流派入手，以每种流派中的各个模型为主线，对统计机器学习和贝叶斯机器学习做了系统的介绍，并从这些模型中梳理出它们之间关系的脉络，帮助你尽可能地从更加宏观的角度来理解模型内部的关联。和上一季的“人工智能基础课”相比，这一季专栏的内容聚焦于机器学习一点，力求更加深入地挖掘这个主题。增加深度意味着提升难度，无论是写作的我还是阅读的你，都需要投入更多的时间和精力去理解与消化。

比如在分析学生的成绩时，物理/化学/生物这几门课程之间会存在较强的相关性，政治/历史/地理这几门课程也会存在较强的相关性，物理/政治、化学/历史之间的相关性就会较弱，这样的相关关系就可以用理科和文科两个互不相关的公因子来刻画。在统计学习中，几乎所有模型都可以追溯到线性回归的演化，在贝叶斯学习里，起到万物之源作用的是具有最大不确定性的高斯分布，对高斯分布的不同处理方式决定了不同的数据生成方式。如果给高斯混合模型中的隐变量添加时序关系，让下一时刻的状态依赖于这一时刻的状态，就形成了隐马尔可夫模型。

具体的做法是判断选出的两个节点$i, j$在给定其他所有结点的条件下是否条件独立，如果存在让$i$和$j$满足$d$分离性的结点子集，那就把$i$和$j$之间的边去掉。基于评分的学习的首要任务是选择合适的评分函数。结构EM算法在具有结构和参数两个维度的假设空间内进行搜索，在每一轮次的搜索中，原始的EM算法是为固定的模型更新参数，结构EM算法则同时更新参数和模型，更新的方式是让模型的评分函数最大化，评分函数的选择是参数关于模型后验概率的信息熵，当然也可以使用贝叶斯信息量准则或者最小描述长度这类指标。

如果已知每个样本${\bf x}_n$所对应的隐变量$z_{nk} = 1$，那就意味着第$n$个样本由第$k$个混合成分产生，上面的表达式就可以简化为$$ L(\boldsymbol\theta| {\bfX}, {\bfZ}) = \sum\limits_{n=1}^N \log \pi_k \mathscr{N}({\bf x}_n | \boldsymbol\mu_k, \boldsymbol\Sigma_k) $$但隐变量本身也是随机变量，只能用概率描述。这里的硬币选择就是不能直接观测的隐变量。

在给定一组数据$a, b,c$时，这个实例的似然概率可以写成$$ p(a, b,c) = \dfrac{\phi_1(a, b) \cdot \phi_2(b,c)}{Z} = \dfrac{\phi_1(a, b) \cdot \phi_2(b,c)} {\sum\limits_{a,b,c} \phi_1(a, b) \cdot \phi_2(b,c)} $$在对这个式子进行最大化时，就不能对$\phi_1(a, b)$和$\phi_2(b,c)$分开处理，各自求解最大值了。那就是简化参数估计的运算。

但在具体问题中，任意选择的目标分布$p(x)$和起到转移矩阵作用的建议分布$q(x)$很难满足细致平稳性，这时就需要对它们做一些人为的修正，修正方式是引入参数$\alpha$，令它满足$$ p(i)Q(i, j)\alpha(i, j) = p(j)Q(j, i)\alpha(j, i) $$不难看出，参数的引入使转移矩阵被修正为${\bfQ}(\cdot)\alpha(\cdot)$，这可以避免Metropolis算法对小概率样本的一刀切。有些时候，即使目标分布的形式是已知的，对它的求解也存在着困难。

确定性近似的典型代表是变分贝叶斯推断（variationalBayesian inference），它解决的问题是对隐变量$\bfy$关于已知输入$\bf x$的后验概率$p({\bfy} | {\bf x})$的近似，近似的方式是利用最优的近似概率分布$q({\bfy})$来逼近$p({\bfy} | {\bf x})$。优化的目的是用简单的、容易计算的分布$q({\bfy})$来拟合复杂的、不容易计算的后验分布$p({\bfy} | {\bf x})$，优化的对象是变分下界。

fo$与$do$的关系已经由上面计算出的新因子所定义，与$lo$的关系则是纯粹的条件概率，两者结合可以表示为另一个新因子$$ \psi_2 (do, lo) = \sum\limits_{fo} \psi_1 (fo, do) p(fo) p(lo | fo) $$变量$lo$只出现在新因子$\psi_2$中，消除这个变量的结果就是只和变量$do$有关的因子$\psi_3(do) = \sum_{lo} \psi_2 (do, lo)$求和。从运算效率的角度对变量消去加以改进，得到的就是置信传播算法。

隐藏状态变量初始的取值${\bfX}^{(0)}$也满足高斯分布，其概率密度可以写成$$ P({\bfX}^{(0)}) = \mathscr{N} ({\bfX}^{(0)}| \boldsymbol\mu_0, V_0) $$如果将线性动态系统放在状态空间表象（state space representation）下观察，上面的条件概率就可以改写成状态方程的形式$$ {\bfX}^{(n)} = {\bfA}{\bfX}^{(n - 1)} + {\bfw} $$

在隐马尔可夫模型中，罐子表示的是由概率模型生成的不可观测的随机序列，每个罐子都代表了系统的一种状态，所以这个隐藏的序列叫作状态序列（statesequence），也就是上图中圆圈的部分。这里的上层分布起到的就是前面无信息先验的作用，可以决定哪些状态更容易出现，它的浓度参数决定了状态的密度。假设所有可能的状态$q_i$总共有$N$个，所有可能的观测结果$v_j$总共有$M$个，所有抽取出的状态结果$i_t$构成长度为$T$的状态序列，所有状态生成的观测结果$o_t$则构成长度为$T$的观测序列。

要理解协方差函数在高斯过程中的作用，首先要明确高斯过程的一个主要特点，那就是它建模的对象不是自变量$\bf x$和因变量$y$之间的关系，而是不同的因变量$y$和$y’$之间的关系，正是这种思想决定了高斯过程的非参数特性。如果要将上面的参数化过程过渡为完全的非参数化过程，就要摆脱对于参数$\bfw$的依赖，最直接的方法是不定义$\bfw$的先验，而是直接定义在函数空间上的输出$y({\bf x})$的先验，也就是给出$y({\bf x})$取不同形式的概率。但在多元高斯分布中，变量的数目依然是有限的。

在这个顺连结构中，$X_1$和$X_3$之间并不存在直接的作用，而是以$X_2$作为媒介和中转。“如果一个线性高斯网络具有顺连结构$X_1 \rightarrowX_2 \rightarrowX_3$，其中$X_1$的概率密度${\mathscr N}(1, 4)$，已知$X_1$时$X_2$的条件概率密度为${\mathscr N}(0.5X_1 - 3.5, 4)$，已知$X_2$时$X_3$的条件概率密度为${\mathscr N}(-X_2 + 1, 3)$，试求解整个网络所表示的联合分布。

在上面的例子中，如果要计算四个随机变量分别等于$a^0, b^0,c^1, d^1$的概率，就需要先将反映它们之间的依赖关系的因子相乘$$ \phi_1(a^0, b^0) \cdot \phi_2(b^0,c^1) \cdot \phi_3(c^1, d^1) \cdot \phi_4(d^1,a^0) = 30 \times 1 \times 1 \times 1 = 30 $$在计算中需要注意的是，在两个因子相乘时，将这两个因子联系起来的中间变量的取值必须是匹配的。上面求出的只是一种可能出现的取值。

在上面的例子中，随机变量的数目，也就是结点的数目是5个，每个随机变量又都只有2种可能的取值。不严谨地说，在给定一些证据（evidence），也就是某些结点的取值固定时，如果一个结点的变化会影响到另一个结点的变化，那它们就是$d$连通的（$d$-connected），它们之间存在着$d$连接路径（$d$-connecting path）。将所有结点分成互斥的若干个子集，如果在给定集合$X$的条件下，集合$A$中的任何变量都和集合$B$条件独立，那么满足这一条件的最小集合$X$就是集合$A$的马尔可夫毯。

从今天起，我们将进入概率图模型的模块，以贝叶斯的角度重新审视机器学习。在机器学习任务中，输入和输出之间并不是简单的一对一的决定关系，两者之间通常存在着一些可见或不可见的中间变量。要计算输出变量的概率分布，就得把这些中间变量纳入到建模的框架之中。要简洁明快地表达多个变量之间的复杂的相关关系，图模型无疑是理想的选择。将图模型和概率模型结合起来，就是这个模块的主题——概率图模型（probabilistic graphical model）。在“人工智能基础课”中，我曾用简短的篇幅粗略地介绍过概率图模型的概念和分类

结构化局部模型的代表是核函数，虽然它原本的目的不在于此，却在事实上起到了局部化的作用。这里我用参数的非线性化来指代属性不变但参数改变的模型，但由于参数本身是常量而非变量，因此参数的非线性化是以自适应调整的方式体现的。局部化是对数据样本所在的特征空间的切割，可分布式表示却是对特征空间的重组，将原来单个的数据点变出了多个分身，分别作为对数据不同角度的观察结果。一手遮天的全局特性限制了模型的灵活性，改进的方法在于将它改造成若干个局部模型的组合，其演进的过程可以描述为“结构化局部——非结构化局部——分布式表示”。

在集成方法中，假定最终的输出结果$f(x)$是每个基学习器单独输出的线性组合$\sum_{i=1}^N w_if_i(x)$，其中线性系数全部为正且和为1，那么每个基学习器的分歧就可以表示为$$ a_i(x) = [f(x) - f_i(x)] ^ 2 $$集成模型的分歧是所有基学习器的分歧的线性组合$$ a(x) = \sum\limits_{i= 1}^N w_ia_i(x) $$这个表达式可以看成是所有独立输出对加权平均求出的加权方差。通过增加个体的方差来减小集体的方差，这就是集成学习的奇妙之处。

每当一个新的弱学习器加入后，数据的权重都会被重新分配（reweighting），被错误分类的样本占据更大的权重，被正确分类样本的权重则被相应地削减，这保证了未来的弱学习器会更多地以前车之覆作为后车之鉴。某种意义上说，堆叠法的训练数据不是原始的训练数据集，而是不同基学习器在训练数据集上的结果，起到的是模型平均（modelaveraging）的作用，提升法和装袋法都可以看成它的特例。需要注意的是，装袋法并没有降低偏差的效果，也就没法提升预测的准确性，因此在选择基学习器时，应当以偏差较小的优先。

显然，$T$的作用是对目标函数的正则化。在从整体到局部的过渡中，回归树的操作和之前介绍过的回归样条方法一脉相承，采用的都是“分段函数”的思路，但两者的区别在于回归树对特征空间执行的是递归式划分（recursive partitioning）。可以看到，在一维的情形下，回归树其实是分段的常数函数，只不过不同分段之间的分界点并不是人为指定，而是通过方差下降的方法计算出来的。因变量的相似性决定了被划分到同一组的数据在输出上的差别较小，自变量的相异性则决定了被划分到不同组的数据在某一个输入属性上的差别较大。

在卷积层和下采样层的迭代过程中，低层次的特征不断组合成高层次的特征，数字图像的表示方式也从原始的像素集合变成卷积得到的特征组合，这两个层也就构成了卷积神经网络的编码器。在自编码器最初的设计中，编码器的任务是生成参数矩阵${\bfW}_C$，用来计算输入数据$\bfX$的码字向量，解码器的任务是生成参数矩阵${\bfW}_D$，用来重构的码字向量所对应的初始数据$\tilde{\bfX}$。从编解码的全过程来看，如果要构造出有效的表示，自编码器的输入和输出就应该是近似相等的，那它学习的对象是个恒等函数。

下面的这个例子来自于约书亚·本吉奥（Yoshua Bengio）等人的大作《深度学习》（Deep Learning），在识别这张图片时，理想的算法应该能够将由像素的灰度值所组成的数组输出“女人”这样的标签，识别的过程就是逐层提取模式的过程。算法的第一层可以根据灰度的空间分布提取出诸如边缘这类在较小的几何尺度上保持不变性的低层次特征，第二层进一步从边缘的组合中抽象出角度和弧度等高级的形状特征，第三层再根据形状的组合抽象出面部和身体等器官的轮廓，最后将这些器官的轮廓组合成关于“女人”的潜在模式。

网络输出的分类结果$t$满足两点分布，它关于数据$\bf x$和参数$\bfw$的似然概率可以写成$$ p(t | {\bf x}, {\bfw}) = y({\bf x}, {\bfw})^t [1 - y({\bf x}, {\bfw})] ^ {1 - t} $$其中$y({\bf x}, {\bfw})$是输出层激活函数为对数几率函数时的输出，可以视为$\bf x$归属于正类的条件概率。在用于分类的神经网络中，先验假设就是参数$\bfw$的概率分布，这个分布通常被处理成零均值的高斯分布。

充分利用关于基函数的灵活性，就可以将线性回归的表达式推广成$$ y =\beta_0 + \beta_1\phi(x_1) + \beta_2\phi(x_2) + \cdots + \beta_n\phi(x_n) $$显然，当$\phi(\cdot)$是个非线性的函数时，回归结果实际上就是经过非线性变换的输入属性的线性组合，因变量和自变量之间也就建立起了非线性的关系。在最原始的线性回归中，基函数的形式是恒等函数，因此这样的模型无论对属性$x_i$还是对系数$\beta_i$都是线性的。

但近邻点是以内收的形式影响未知的数据，所有近邻点按照一定的规则共同决定处于中心的未知数据的类别。如果聚类的任务是将$N$个数据点聚类成为$K$个簇，那它的目标函数就可以写成$$ J = \sum\limits_{n = 1}^N \sum\limits_{k = 1}^K r_{nk} || x_n - \mu_k || ^ 2 $$其中$x_n$是数据点，$\mu_k$是第k个簇的中心，也就是簇中所有数据点的均值，$r_{nk}$是数据点和簇之间的关系：当$x_n$被归类到第$k$个簇时为1，否则为0。

在直方图上，第$i$个子区间上的概率可以表示成$$ p_i= \dfrac{n_i}{N\Delta} $$其中$n_i$是落在这个子区间内的样本数，$N$是样本容量，$\Delta$是每个子区间的宽度，它决定了直方图的分辨率。在高维空间中，如果将数据$\bfx$的局部结构定义为$R$，那么其概率密度就可以表示为$$ p({\bf x}) = \dfrac{K}{NV} $$其中$K$表示$R$中的数据点数目，$V$表示$R$的体积，它们都是不确定的量。下图是$k$近邻算法的一个简单的例子。

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击人工智能教程https://www.captainai.net/troubleshooter俗话说得好：“支持向量机有三宝，间隔对偶核技巧”。在上一篇文章中我和你分享了间隔这个核心概念，今天就来看看对偶和核技巧的使用。对偶性主要应用在最优决策边界的求解中，其逻辑比较简单。但在介绍核技巧时，会先后涉及核函数、核方法、核技巧这些近似的概念。虽然从名字上看，它们都是“核”字辈的兄弟，但是在含义和用途上却不能一概而论，因

在上面的二分类问题中，边界$H_2$过于靠近一些训练数据，那么这些靠近边界的数据受噪声或干扰影响时，得到的真实数据就更容易从一个类别跳到另外一个类别，导致分类的错误和泛化性能的下降。在旋转的过程中，两个不动点之间的欧氏距离是不变的，但两条线的斜率一直在改变，因此它们之间的距离也会不断变化。如此看来，能够入你法眼的停火线就只有$H_3$了，它既保证了所有士兵都驻扎在自己的阵地当中（数据中没有分类错误），又划定出足够宽阔的非交战区，杜绝了偷袭的可能性（数据与决策边界的距离足够大）。

线性”的含义正体现在联系函数的反函数$g(\cdot) {-1}$的输入，也就是自然参数$\boldsymbol\eta$是数据的线性组合，写成数学表达式就是$$ \mu = g ^ {-1}(\boldsymbol\eta) = g ^ {-1} ({\bfX}{\boldsymbol\beta}) $$这说明数据的线性组合${\bfX}{\boldsymbol\beta}$就是联系函数在输入为条件期望$\mu$时的输出。使用指数分布族后，因变量的均值就能够决定误差的性质，从而包含了更多的信息。

对数几率函数的自变量$a$可以改写成$$ a = \ln \dfrac{p({\bf x} | C_1) p(C_1)}{p({\bf x} | C_2) p(C_2)} = \ln \dfrac{p({\bf x} | C_1)}{p({\bf x} | C_2)} + \ln \dfrac{p(C_1)}{p(C_2)} = {\bfw}^T {\bf x} + b $$逻辑回归并不能直接给出参数$\bfw$的解析解，因此需要结合最优化的方法使用。第二，每个类别的数据必须具有相同或者相近的协方差矩阵；

将$\bfX$的奇异值分解代入岭回归的预测输出中，就可以得到：$$ {\bfX} {\hat \beta} = \sum\limits_{j = 1}^p {\bf u}_j \dfrac{d^2_j}{d^2_j + \lambda}{\bf u}^T_j {\bf y}$$其中的${\bf u}_j$是矩阵$\bfU$的列向量，也是$\bfX$的列空间的一组正交基，而岭回归计算出的结果正是将训练数据的输出$\bfy$投影到以${\bf u}_j$为正交基的子空间上所得到的坐标。

那么利用训练数据$\bf y$估计测试数据$y^*$时，输出的预计分布（predictive distribution）就可以写成以下的条件概率$$p(y^* | {\bf y}, \alpha, \sigma ^ 2)$$$$= \int p(y^* | {\bfw}, \sigma ^ 2) p({\bfw} | {\bf y}, \alpha, \sigma ^ 2) {\rmd}{\bfw}$$在这个式子中，$\alpha$和$\sigma ^ 2$都是独立于训练数据的超参数。

根据几何知识不难得出，要找的最佳近似$\hat {\bf y}$就是${\bf y}$在超平面上的投影，而最佳近似所对应的系数$\hat {\boldsymbol\beta}$就是线性回归的解，点$\hat {\bf y} = {\bfX}{\boldsymbol \beta}$和${\bf y}$之间的距离就是估计误差，也叫残差（residual），它就是最小二乘法最小化的对象，其表达式是$|| {\bf y} - {\bfX}{\boldsymbol\beta}|| ^ 2$。

显然，空间标识算法将所有的数据点都映射到高维空间的球面上，这个映射和标准化或者归一化的不同之处在于它处理的对象并不是所有样本的同一个特征，而是同一个样本的所有特征，让所有样本呈现一致的尺度。二是出现频率最高的特征取值的出现频率应该在出现频率次高的特征取值频率的20倍以上，如果有90个样本的特征取值为1，4个样本的特征取值为2，其余取值的样本数目都在4个以下，这样的特征就可以被删除了。可如果把（身高，体重）的二元组看作二维空间上的点的话，代表我自己的点显然和代表S码的点之间的欧式距离更近。

这个假设在实际的学习任务中显然并不总是成立的，埃塞姆·阿帕丁（Ethem Alpaydin）在他的《机器学习导论》（Introduction to Machine Learning, 3rd Edition）中提到，在主成分分析的预处理与$K$近邻分类的级联算法中，主成分数目的每个选择都给后面的$K$近邻定义出一个全新的输入空间，这会使$K$近邻的最优超参数出现变化——在10维输入中计算出的最优近邻数目未必适用于15维的输入。机器学习的目标是模拟数据的内在生成机制，取得较低的泛化误差和较强的预测精度。

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击人工智能教程​https://www.captainai.net/troubleshooter用训练数据集拟合出备选模型的参数，再用验证数据集选出最优模型后，接下来就到了是骡子是马牵出来溜溜，也就是模型评估的阶段了。模型评估中使用的是测试数据集，通过衡量模型在从未出现过的数据上的性能来估计模型的泛化特性。为简便起见，我将以二分类任务为例来说明度量模型性能的不同指标。二分类任务是最重要也最基础的机器学习任务，其最直

上图就是一个典型的过拟合例子：黑点代表的离散数据可以看成是满足线性关系的原始数据和随机噪声的叠加，受噪声的影响，即使是生成数据的直线也不能完全拟合数据，总归存在一定的残留误差。定性而论，模型在训练集上的精度不能太低。做老师的都知道，一次考试中的学生成绩应该是近似满足正态分布的，所以在评估教学效果时，学生样本的构成就至关重要：如果选的都是成绩较好的学生，那他们在自习室自学的效果可能还比上课更好；由于每一轮中选择的验证集都互不相同，每一轮验证得到的结果也是不同的，$k$个结果的均值就是对泛化性能的最终估计值。

如果把不同模型看成一个班级里的不同学生，不同问题看成考试时的不同科目，NFL定理说的就是在这个班里，所有学生期末考试的总成绩都是一样的，既然总成绩一样，每一科的平均分自然也是一样的。模型的复杂度越高，其方差也就越高。奥卡姆剃刀是人类思维的一种直观的体现，你我在不经意间都会用到它：当看到1，2，4，8这几个数时，对下一个出现的数字，你的第一反应一定是16，因为这一系列数字里蕴含的最简单的规律是等比数列关系，而不是什么包含十几二十个参数的高阶多项式，这个复杂的结果直接被头脑中的那把剃刀无意识地砍掉了。

所以在参数模型的学习中，算法的任务就是求出这些决定概率特性的参数，只要参数确定了，数据的统计分布也就确定了，即使未知的数据无穷无尽，我们也可以通过几个简单的参数来确定它们的性质。需要注意的是，“非参数模型”不是“无参数模型”，恰恰相反，非参数模型意味着模型参数的数目是不固定的，并且极有可能是无穷大，这决定了非参数模型不可能像参数模型那样用固定且有限数目的参数来完全刻画。相比之下，参数模型具有全局的特性，所有数据都满足统一的全局分布，这就像履至尊而制六合得到的扁平化结构，一组全局分布的参数支配着所有的数据。

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击人工智能教程​​​​https://www.captainai.net/troubleshooter无论是频率学派的方法还是贝叶斯学派的方法，解决的都是怎么学的问题。但对一个给定的问题到底能够学到什么程度，还需要专门的计算学习理论（computational learning theory）来解释。与机器学习中的各类具体算法相比，这部分内容会略显抽象。学习的目的不是验证已知，而是探索未知，人类和机器都是如此。对于

通俗说就是虽说男孩肚子尖女孩肚子圆一定不会以100%的概率发生，但70%的置信度恐怕还是有的，这相比于纯属瞎猜的对半概率就是个不小的进步，也就意味着肚子形状的特征提供了一定的信息。这是由于问题中的模式可不会像秃子头上的虱子那么明显，一方面，输出结果会受到多个输入特征的共同影响，另一方面，特征与特征之间通常也不是完全独立的，而是存在着相互作用。首先，预测胎儿的性别不是预测婴儿的活动，没人能知道婴儿的下一声啼哭会发生在什么时候，即使你知道他的血压肺活量脉搏等所有的生理指标，还是没有办法去预测。