Anthony_Wu的博客

一、 引言最近在机器学习课上，学到的《机器学习实战》第六章的支持向量机，这部分内容非常多，不仅要会编程和测试，还要理解它的数学基础，这里对这部分的学习进行一些总结。二、 SVM的数学原理从一个简单的二分问题开始说吧：我们要把这两类不同的点区分开，那么在这个二维平面上就是找条直线，尽量使得这些点更好的分隔开，那么这条直线可以表示为AX+BY+C=0.在数据集中自然是多种属性的，这时候就可以看成是n维...

一、引言提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。对于分类问题，给定一个训练样本集，比较粗糙的分类规则（弱分类器），要比精确分类规则（强分类器）容易，提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器，大多数提升方法都是改变...

一、引言二、线性回归算法2.1 算法介绍目的：预测数值型的目标值得到求取目标值的回归方程、回归系数求这些回归系数w的过程称为回归数据存放在矩阵X，回归系数存放在向量W中对于给定的输入数据X’，预测结果如何确定权值W的值呢？我们拥有一些x和对应的y，找出使得误差(预测出的y值与真实y值之间的差值)最小的W,使用该误差的简单累加能使得正差值与负差值相互抵消，这里采用平方误差。令上式等于零，解得w的最优...

一、降维技术1.1 数据降维的必要性<1>多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。<2>高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。<3>过多的变量会妨碍查找规律的建立。<4>仅在变量层面上分析可能会忽略变量之间的潜在联系。例如几个预测变量可能...

一、问题描述鸢尾花（IRIS)有很多种，但又因为特征很是相近，不好区分，通过大量数据归纳的特征，我们通过花萼长度(Sepal.Length)，花萼宽度(Sepal.Width)，花瓣长度(Petal.Length)，花瓣宽度(Petal.Width)，4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类，从而更加有效地进行区分。二、算法原理原理：已...

一、问题描述鸢尾花（IRIS)有很多种，但又因为特征很是相近，不好区分，通过大量数据归纳的特征，我们通过花萼长度(Sepal.Length)，花萼宽度(Sepal.Width)，花瓣长度(Petal.Length)，花瓣宽度(Petal.Width)，4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类，从而更加有效地进行区分。二、算法原理朴素贝叶...

一、问题描述人民生活水平越来越高，买车的人也越远越多，根据长期统计出的数据，对不同的车具有不同属性跟购买用户的满意度相互关联，通过数据的分析，可以给用户直接推荐更适合的车型，也可以给汽车销售商提供更好的进货建议。根据这些数据来对具有这些属性的车做预测，给买车的顾客提供测评的结果。测评结果有四种：（unacc，acc，good，vgood）分别代表（不可接受，可接受，好，非常好）二、算法原理原理：I...

一、问题描述泰坦尼克号，英国白星航运公司下辖的一艘奥林匹克级邮轮，是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉。然而讽刺的是，在第一次航行中，泰坦尼克号便遭厄运——她从英国南安普敦出发，途经法国瑟堡-奥克特维尔以及爱尔兰昆士敦，驶向美国纽约，船上时间1912年4月14日23时40分左右，泰坦尼克号与一座冰山相撞，造成船破裂，五座水密舱进水。泰坦尼克号要沉了，大家都惊恐逃生...