weixin_43580130的博客

目录子集搜索与评价过滤式选择包裹式选择嵌入式选择与L1正则化稀疏表示与字典学习压缩感知子集搜索与评价我们先来理解以下概念：相关特征：对当前学习任务有用的属性；无关特征：对当前学习任务无用的属性；特征选择：从给定的特征集合中选择出相关特征子集的过程，相当于直接在属性操作上降维，但是过程中必须保证不丢失重要特征。为什么要进行特征选择？原因：①为了解决属性过多导致的维数灾难问题；②去除不相关的特征往往会降低学习任务的难度。要在初始的特征集合中选取一个包含了所有重要信息的特征子集，我们必须要避免遭

目录k近邻(k-Nearest Neihbor , kNN)学习低维嵌入主成分分析（Principal Component Analysis , PCA）核化线性降维流形学习（manifold learning）等度量映射（Isometric Mapping , Isomap）局部线性嵌入（Locally Linear Embedding , LLE）度量学习（metric learning）k近邻(k-Nearest Neihbor , kNN)学习首先我们先来理解**“有监督学习”**：对具有概念标

流形学习（manifold learning）是一类借鉴了拓扑流行概念的降维方法，在降维时，若低维流行嵌入到高维空间中，则数据样本在高维空间的分布虽然看上去十分复杂，但在局部上仍具有欧式空间（对现实空间的规则抽象和推广）的性质。我们先来理解流形： 流形(manifold)是一般几何对象的总称，包括各种维度的曲线与曲面等，和一般的降维分析一样，流形学习是把一组在高维空间中的数据在低维空间中重新表示。不同之处是，在流形学习中假设：所处理的数据采样与一个潜在的流形上，或者说对于这组数据存在一个潜在的流形。为

通俗的理解有监督学习和无监督学习有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对样本集外的数据进行标记（分类）预测，相当于有明确的分类目标。有监督学习可分为回归和分类。通俗的来说：有监督学习就是训练样本的标记信息是已知的，我们完成一个分类任务时，我们是知道要分为哪些类的，只是对数据进行提取属性再直接分类就好。无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识，所有的标记（分类）都是未知的。无监督学习的典型就是聚类。通俗的来说：无监督学习就是训练

密度聚类密度聚类也称为基于密度的聚类，此算法假设聚类结构能够通过样本分布的紧密程度确定。DBSCAN是一种著名的密度聚类算法，它基于一组邻域（对于xj，其邻域包含的样本集与xj的距离不大于ε）参数来刻画样本分布的紧密程度。先理解以下概念：核心对象：对于xj，它的邻域中必须至少包含m个样本，则xj是一个核心对象（邻域足够大）；密度直达：xj位于xi的邻域中，且xi是核心对象，则xj由xi密度直达；密度可达：对于x1,x2与x3，x1为核心对象的邻域里有x2，x2为核心对象的邻域里有x3，则x3可由

引入原型聚类也称为基于原型（样本空间中具有代表性的点）的聚类，通常算法先对原型进行初始化，然后对原型进行迭代更新求解，采用不同的原型表示、不同的求解方式，将产生不同的算法。K均值（K-means）算法针对聚类所得簇划分最小化平方误差E（具体公式见P202），式子在一定程度上刻画了簇内样本围绕簇均值向量的紧密程度，E越小则簇内样本相似度越高。k均值类算法仅在凸形簇（类似于椭圆形）结构上效果较好。由于最小化式子E并不容易，找到它的最优解需要考查样本集D的所有可能划分，这是一个NP问题。K均值算法采用

文章目录引入性能度量距离计算原型聚类K均值（K-means）学习向量量化（Learning Vector Quantization，LVQ）高斯混合聚类（Mixture-of-Gaussian）（有点难理解）密度聚类层次聚类引入首先我们先来理解“无监督学习”：它是指训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质和规律。通俗来讲就是，当我们想要完成一个分类任务时，我们完全不知道应该分为几类，具体的类别也是未知的。无监督学习中研究最多、应用最广的就是“聚类”(cluste

引入

引入决策树希望从给定训练数据集学得一个模型用以对新示例进行分类。一棵决策树的根节点包含的是样本全集，内部结点表示各种判断元素，每个节点的连接路径对应一个判断测试序列，叶子结点即表示分类结果。决策树是基于树结构来进行决策的，看起来比较简单，但在实际操作过程中，不仅要考虑要将数据的哪些属性纳入决策树判断来，而且要考虑这些属性在决策树中作用的先后顺序。划分选择如何选择最优属性，我们可以由信息熵及信息增益来得出。其中，熵就相当于对于一种事物的不确定性；信息就是一种可以调整概率/排除干扰/清楚不

引入线性模型：给定由d个属性描述的示例，线性模型试图学得一个通过属性的线性组合来进行预测的函数。f(x) = wTx+b线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记，公式：f(xi) = wxi + b，使得f(xi) ≈ yi方法我们的任务就是求出w和b，可用均方误差最小化的方法，基于均方误差最小化来进行模型求解的方法称为最小二乘法，在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本到达直线的欧氏距离最小。除了利用线性模型进行回归学习，也可以利用线性模型处理分类任务，我

引入在了解信息熵和信息增益之前我们先明确以下几个概念：1.信息：某人（模型）判断一个宏观态属于哪个微观态时对我们判断有所帮助的物理量，以上简单来说就是信息就是分类时有用的东西。它的作用有调整概率、排除干扰、确定某种情况等。2.概率：某件事（宏观态）属于某个情况（微观态）的确定性。3.熵：某人（模型）对于某件事（宏观态）属于某个情况（微观态）的不确定性。决策树由于信息熵和信息增益在决策树中是个较为重要的应用，所以我们在这里先介绍决策树。决策树希望从给定训练数据集学得一个模型用以对新示例进行分类