qq_51580006的博客

神经网络的训练目的是希望能够学习到一个模型，实现输出一个期望的目标值。学习的方式是在外界输入样本的刺激下不断改变网络的连接权值。前馈型神经网络，反馈型神经网络和自组织神经网络。前馈神经网络将神经元分层排列，分别是输入层、中间层和输出层。按照层数不同，划分为单层前馈神经网络和多层前馈神经网络。如感知机、BP网络、RBF网络。反馈神经网络每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，Hopfield神经网络是反馈网络中最简单且应用广泛的模型。

集成学习是一种功能十分强大的机器学习方法，其基本思想是先通过一定的规则生成一定数量的基学习器，再采用某种集成策略将这些基学习器的预测结果组合起来，从而形成最终的理论。集成学习不是一个单独的机器学习方法，而是将多重或多个弱学习器组合成一个强学习器加粗样式，从而有效地提升分类效果。对于一个回归问题，假设样本(x→x,y)服从的真实分布为Px→yPxy。设D表示含噪采样点集， (x→xyDy_DyD​)服从分布D，yDy_DyD​为输入x→x。

深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型，可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很好的效果。卷积神经网络目前是深度学习领域的热点，尤其是图像识别和模式分类。

支持向量机（SVM）是一种基于统计学习理论的监督学习方法。支持向量机在各个领域内的模式识别问题中都有广泛应用，包括人脸识别、文本分类、笔迹识别等。当训练数据线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；当训练数据近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；当训练数据不可分时，通过使用核技巧以及软间隔最大化，学习一个非线性支持向量机。

总体信息：当前总体样本符合某种分布。比如抛硬币，二项分布。学生的某一科的成绩符合正态分布。样本信息：通过抽样得到的部分样本的某种分布。抽样信息=总体信息+样本信息基于抽样信息进行统计推断的理论和方法称为经典统计学。先验信息：抽样之前，有关推断问题中未知参数的一些信息，通常来自于经验或历史资料。基于总体信息+样本信息+先验信息进行统计推断的方法和理论，称为贝叶斯统计学。

分类算法利用训练集获得分类模型（分类器），从而实现将数据集中的样本划分到各个类中。分类模型通过学习训练样本中属性集与类别之间的潜在关系，并以此为依据对新样本属于哪一类别进行预测。

用于分类任务的机器学习模型称为分类模型或分类器。分类任务的目标是通过训练样本构建合适的分类器C(X)，完成对目标的分类。分类类别只有两类的分类任务称为二值分类或者二分类，这两个类别分别称为正类和负类，通常用+1和-1分别指代。分类类别多于两类的分类任务通常称之为多值分类。

回归就是用一条曲线对数据点进行拟合，该曲线称为最佳拟合曲线，这个拟合过程称为回归。当该曲线是一条直线时，就是线性回归。线性回归（Linear Regression）是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖关系的一种统计分析方法。“线性”指一次，“回归”实际上就是拟合。线性回归一般用来做连续值的预测，预测的结果是一组连续值。在训练学习样本时，不仅需要提供特征向量X，还需要提供样本的实际结果（标记label），因此线性回归模型属于监督学习里的回归模型。

机器学习是一种从数据当中发现复杂规律，并且利用规律对未来时刻、未知状况进行预测和判定的方法，是当下被认为最有可能实现人工智能的方法。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。已有的数据（经验）某种模型（迟到的规律）利用此模型预测未来（是否迟到）机器学习界“数据为王”思想引例：小Y不是一个守时的人，最常见的表现是他经常迟到。小A与他相约3点钟在某地见面，在出门的那一刻小A突然想到一个问题：我现在出发合适吗？我会不会又到了地点后，还要花上30分钟去等他？

①降维（Dimensionality Reduction，DR）是指采用线性或者非线性的映射方法将高维空间的样本映射到低维空间中。②降维获得低维空间的数据等价表示，实现高维数据的可视化呈现。仅仅需要以方差衡量信息量，不受数据集以外的因素影响。各主成分之间正交，可消除原始数据成分间的相互影响的因素。计算方法简单，主要运算是特征值分解，易于实现。

可以看出训练样本是有明确的标签的，数据点是有已知结果的，而聚类不同，聚类算法本身训练的样本就是无标签的，你不知道它属于哪一类，而把具有空间相近性、性质相似性的数据点归为一类，这就是聚类算法要做的事情。②把所有样本到质心距离计算出来，选择较远的距离（从离中心点第一远，第二远，第三远，第四远，第五远中，选一个距离），作为另外一个质心，从而解决了在较近的距离选择两个点。评估两个不同样本之间的“相似性”，通常使用的方法就是计算两个样本之间的“距离”，使用不同的方法计算样本间的距离关系到聚类结果的好坏。