Spring_Et的博客

1. 高斯混合聚类的原理分析高斯混合的含义高斯混合聚类有一个重要的前提：假定样本集是从若干个（需要聚类的个数）满足高斯分布的集合中按照一定的比例随机抽取生成的。而高斯混合聚类的任务就是上面假定的逆过程，从这些杂乱的高斯分布中抽取出来的样本集，重新归类到集合中。问题推到既然高斯混合聚类是从若干个满足高斯分布的集合中抽取而成，那么高斯分布是怎么样的呢？根据定义多元的高斯分布的概率密度函数长下...

请和我一起学习机器学习算法之k-meansk-means 概念简述  k-means 是一种聚类算法，具有随机，无监督的特点。也叫k中心值聚类。其中的k，表示的是要分成类别的数量，也就是说你最终要分成几堆。k-means 算法流程  k-means 是一通过距离情况优化中心的策略来实现聚类。具有一定的随机性。算法步骤如下：算法输入：训练数据X={x1,x2,...,xm}X=\{x_1,x_2,...,x_m\}X={x1​,x2​,...,xm​}，K(想聚类的数目)随机在训练数据中选取

请和我一起学习机器学习算法之朴素贝叶斯1. 朴素贝叶斯概念贝叶斯公式由条件概率：P(A,Bi)=P(A∣Bi)⋅P(Bi)=P(Bi∣A)⋅P(A)P(A,B_i)=P(A|B_i) \cdot P(B_i)=P(B_i|A) \cdot P(A)P(A,Bi​)=P(A∣Bi​)⋅P(Bi​)=P(Bi​∣A)⋅P(A)（条件概率表示已知条件发生的情况下的概率，比如“P(好学生|性别女)”表示在女生的范围内好学生的概率）可得到贝叶斯常规型：P(A∣Bi)=P(Bi∣A)⋅P(A)P(Bi)

随机森林作为集成学习的一部分，或许应该将标题改为集成学习？

@TOC()决策树简介决策树的优化预剪枝后剪枝决策树的算法ID3C4.5CART

请和我一起学习机器学习算法之支持向量机支持向量机（SVM）从逻辑回归到SVM为什么SVM可以实现间距最大什么是核函数核函数和SVM之间是如何合作的支持向量机（SVM）(Sport vector machine) 支持向量机是一分类算法，是机器学习算法中，公式推导产生巨大困难的算法之一。我前前后后学习了好多遍，都被他复杂的公式打败了(周志华的西瓜书的锅)。这次，我不打算仔细去推演SVM的公式，但是我们可以通过一些相对简单可以理解的数学来理解SVM的工作过程。从逻辑回归到SVM为什么SVM可以实现间距

所有的机器学习需要的能力都不是针对标签已知的样本进行判别决策的能力，而是正对未知样本能够正确预测的能力，但是在我们的模型学习过程中，会出现一些过犹不及的现象。什么是过度拟合过度拟合(overfitting), 实际上是为了尽可能的减小训练集的误差，从而导致模型过度复杂，泛化能力下降的情况。所谓泛化能力，指的就是对未知样本的预测能力。如图所示，在预测面积和房价的案例中。如果我们使用线性图一，过于简单的模型，会使得样本偏离变大，这个叫做欠拟合。而使用第三个曲线，虽然训练样本的方差很小，但是其的泛化能力反

最邻近规则分类，KNN分类算法KNN 简介KNN算法描述K 值选取距离判断样本决策KNN 简介最邻近算法，K-Nearest Neighbor（KNN）。是一种非常简单有效的分类算法。KNN 是一种懒惰学习算法，什么是懒惰学习算法呢？懒惰学习是一种训练集处理方法，其会在收到测试样本的同时进行训练，与之相对的是急切学习，其会在训练阶段开始对样本进行学习处理。KNN算法描述相比于线性回归和逻辑回归有严谨的数学推导，KNN是一个从认识层面非常容易理解的算法。他的核心思想是：需要预测样本的周围的样本是什么

请和我一起学习机器学习算法之逻辑回归为什么不用线性回归做分类问题逻辑回归Sigmoid函数逻辑回归的代价函数逻辑回归的参数求解其他优化算法为什么不用线性回归做分类问题所谓逻辑回归就是用来分类的回归，所谓分类，就是我们希望预测的结果是离散的值，而不是连续的值。再线性回归的章节上，我们有讨论到对数几率回归。为什么我们不用线性回归做分类问题呢？如上图，如果我们对上面的肿瘤预测的分类问题做线性回归，可能会得到一条蓝色的线，我们以0.5作为阈值，当预测值大于0.5是表现为恶性肿瘤，到小鱼0.5时表现为良性，

请和我一起学习机器学习算法之线性回归线性回归灵魂三问线性回归数学分析一般线性回归1.公式定义2. 参数求解之梯度下降3. 参数求解之正规方程4. 梯度下降和正规方程的对比对数几率回归线性判别分析线性回归的变量选择变量选择线性回归的训练多分类的学习类别不平衡的问题代码举例线性回归灵魂三问什么是线性回归所谓线性回归实际上就是利用已知的样本（已知数据），选择一个线性方程，并对其进行拟合，并通过拟合得到的方程来对未知的数据进行预测线性回归能干什么线性回归主要是用来预测，和判断合理性。 比如用身高预测体重

一直想学习机器学习算法，但是由于其及其复杂的数学推导，以及时间的间断，导致完全没有系统学习过一遍机器学习的基本算法，现在将主流的机器学习算法罗列出来，使用一个半月左右的时间，将这些算法系统的学习一遍。如果你也有意致力于机器学习算法，请您跟我一起，完成今年的学习计划。下面是我的学习计划：...