weixin_43989326的博客

1.支持向量机常是二分类模型。对于二分类问题，主要是要找到一个合适的超平面，该超平面能将数据分成两类。如下图，对数据进行划分，超平面与最近的数据点间隔越大，鲁棒性就越好，因此，需要选择一个超平面能够最大化间隔。2.函数间隔：gap=yf(x)，问题：当w、b同比例变化时，函数间隔也会改变，但超平面并没有变化，但间隔却变化了，所以这种间隔定义并不好。3.几何间隔：几何间隔时点到超平...

1.规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则，其目的是产生一个能覆盖尽可能多的样例的规则集。2.序贯覆盖在训练集上每学习到一条规则，就将该规则覆盖的训练样例去除，然后以剩下的训练样例组成训练集重复上述过程。3.剪枝优化用于防止过拟合。4.一阶规则学习一阶规则学习能够较容易地引入领域知识，这是它的优势。FOIL是著名的一阶规则学习算法。5.归纳逻...

1.概率图模型概率图模型是一类用图形模式表达基于概率相关关系的模型的总称。有向图无向图2.HMMHMM是动态贝叶斯网，是一种有向图模型，主要用于时序数据建模。yi是状态变量，也称为隐变量，xi是观测变量。3.MRFMRF是马尔可夫网，是无向图模型。4.CRFCRF是一种无判别式无向图模型。...

1半监督学习：让学习器不再依赖外界交互，自动利用未标记样本来提升学习性能。2半监督向量机

1.计算学习理论使机器学习的理论基础。2.概率近似正确3.有限假设空间可分情形意味着目标概念c属于假设空间H。对于困难的学习问题，目标概念c不存在与假设空间H中。4.VC维现实学习任务通常面临无限假设空间，需要度量假设空间的复杂度，考虑假设空间的VC维是最常见的办法。5.Rademacher复杂度Rademacher复杂度是另一种刻画假设空间复杂...

1.特征选择对于一个学习任务，给定属性集，其中有些属性对我们的学习是有用的，而有些则是没有用的，这些属性称为“特征”，有用的特征称为“相关特征”，没用的特征称为“无关特征”，从特征集合中选取出相关特征称为“特征选择”。常见的特征选择方法有三类：过滤式、包裹式、嵌入式。2.过滤式选择过滤式方法是先用特征选择过程对初始特征进行选择，再用过滤后的特征来训练模型。Relief特征选择方法是...

1.k近邻学习给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常在分类任务中可以使用“投票法”，即选择这k个样本中出现最多的类别作为预测结果；在回归任务中使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可以基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。2.低维嵌入在高维情形下会出现数据样本呢稀疏...

1.个体与集成集成学习是通过构建并结合多个学习器来完成学习任务，分为同质集成和异质集成。集成学习将多个学习器结合，通常可以获得单一学习器优越的泛化性能，对“弱学习器”更明显。2.Boosting从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做的训练样本再后续受到更多关注，然后基于调整后的样本分布训练下一个基学习器，重复这个步骤，直到...

1.经验误差与过拟合误差：学习器的实际预测输出与样本的真实输出之间的差异。经验误差：学习器在训练集上的误差。泛化误差：学习器在新样本上的误差。过拟合：学习器将训练样本自身的一些特点当作了所有潜在样本都具有的一般性质，导致泛化性能下降。欠拟合：学习器对训练样本的一般性质尚未学好。2.评估方法通过实验测试来对学习器的泛化误差进行模型评估并进而做出选择。对一个包含m个样例的数...

神经元模型下图是M-P神经元模型，输入是n个神经元传递过来的信号，这些信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。2.感知机与多层网络对于线性可分的，感知机的学习过程一定会收敛，若两类模式不是线性可分的，那么感知机学习过程将会发生振荡，求不到合适的解。要解决非线性可分的问题，可以使用多层神经元。...

1.贝叶斯决策论对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。计算期望损失：上面是针对单个样本将正确类别误判为Ci时的期望损失，针对整个的数据集：如果能够最小化R(h(x)|x)，那么总体风险R(h)也将被最小化。这就产生了贝叶斯判定准则：为最小化总体风险，只需要在每个样本上选择那个能使R(c|x)最小的...

1.任务与奖赏2.有模型学习3.免模型学习学习算法不依赖环境建模，称为免模型学习。4.函数近似所有内容来自周志华的《机器学习》...