qq_24059779的博客

一.核函数  它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。  它基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个样本空间的期望以某个概率满足一定上界。假设X是输入空间，H是特征空...

统计机器学习第七章:支持向量机//感觉这些都是虚的,这本书上是把svm安排的明明白白 对于超平面方程是怎么来的:https://www.sohu.com/a/206572358_160850对于拉格朗日对偶问题:http://www.sohu.com/a/211607605_160850这一部分的学习书上的内容看的不太理解,推荐一篇大神博客,一段youtube上mit老师讲的视频....

 

https://blog.youkuaiyun.com/v_JULY_v/article/details/7624837https://blog.youkuaiyun.com/d__760/article/details/80387432

本文包含前六章所有未添加遗漏的知识点，以及对前六章涉及的所有知识的一个综合性的总结。2.1线性模型 订正:下面的证明中(Avi)' * (Avj)=(kivi)' * (kjvj)=kikj(vi'*vj)=0,其中ki和kj是A矩阵对应特征向量(Avi)'*(Avi)=ki*ki 所以,由(AV1,AV2,...AVN)组成的也是一组正交基  &...

代码 https://github.com/px528/AdaboostExample粗略解释:https://blog.youkuaiyun.com/px_528/article/details/72963977大佬的课:https://www.youtube.com/watch?v=UHBmv7qCey4推导过程:统计学习方法-李航-137页开始以上完成就能入门adaboost 当然还有各...

本小节文字比较少，但是理解起来内容还是蛮难的，花了我整整一天的时间把代码和前面的原理搞明白，其实最难的部分就在本小节的代码上。最小二乘法求得最优解为t，可以求得泛化函数为f(t)。上市过程是回归的过程，分类与回归的区别就在于回归给出的是自变量对应的预测解，而分类问题需要给出的是结果的类别。所以在这里加上一个函数sign，定义为下：当f(t)<0 sign(f(t))=-1;     ...

针对概率部分的知识稍微回顾一下https://www.jiqizhixin.com/articles/2018-01-09-6 

>> rand('state',0);randn('state',0);>> n=90;c=3;y=ones(30,1)*[1:3];>> y=y(:);>> x=randn(30,3)+repmat(linspace(-3,3,3),30,1);hh=2*1^2;t0=randn(n,c); for o=1:n*1000i=ceil(...

图解及其学习的王国:这本图解机器学习是比较简单的一本入门教材,以下是图解机器学习王国的整体框架.产生王国:联合概率密度p(x,y)称为数据的生成概率,y=argmax P(x,y)  (朴素贝叶斯方法,隐马尔科夫模型)判别王国:y取得特征值时,求后验概率y=argmax P(y/x) (k近邻法,感知机,决策树,逻辑斯禘回归,最大熵模型,支持向量机,提升方法,条件随机场)已知生成概...

code:1.分析数据需要用什么函数来拟合,给定已知sin函数的时候好拟合,但是未知函数是几次,未知具体函数什么样子的时候拟合的时候需要自己观察数据,并选择相应的模型拟合,我自己编写了一段code,拟合一下试试算法的实用性.x=[1,3,5,6,2,4]';y=[3,4,5,6,7,8]';plot(x,y,'rx');plot(x,y,'rx');%沿着x增大的方向模拟几个点的...

我使用的是Ubuntu版本的svm,最重点的求分类面的部分在最下面..在libsvm-3.23的文件夹路径下打开终端,执行./svm-train heart_scale 其中heart_scale是训练集,它的元素集合是这样  样本类别  1:样本数据  2:样本数据  (其中1,2代表维度)经过上面执行会出现一个新的文件: heart_scale.model (训练之后的到的模型...

约束条件  L2约束的最小二乘学习法是以参数空间的圆点为圆心，在一定半径范围的圆内进行求解。拉格朗日对偶问题：原始问题：在约束条件    下求  引入拉格朗日函数：             称为拉格朗日乘子约束条件下的最大值：原问题的等价描述为：在约束条件下求设计对偶函数为了使问题变为等价无约束，然后用KKT求解原始问题最小值即对偶问题最大值取最大化使其...

几种主要的学习方法：监督学习：在学习的过程中每一次输入都能够有一个输出结果与之相对应的学习过程，例如每次会告诉你x值对应的y值，会告诉你每一次输入属于范围1还是范围0等等。使机器具有泛化能力，能够根据未知的输入推测出理想的预测值。无监督学习：计算机每次输入不知道对应的结果，学习目标不需要明确，主要用于卫星故障诊断，视频分析，社交网站解析和声音信号解析等方面。可以进行聚类和异常检测。强化...

模型选择：通过采用不同的输入训练样本，决定其算法中各个参数的最优值。模型选择算法：1.准备模型的候选M1,M2,...,MK;2.对各个模型M1,...MK求解其学习结果f1,...fk;3.对各个学习结果f1,...fk的泛化误差G1,..,GK进行评价；4选择泛化误差G1,...,GK最小的模型为最终模型。其中最重要的是第三步骤，在监督学习中并不是要通过庞大的训练集...

   

Modularity:称为模块度，是Community Detection(社区检测）中用来衡量社区被划分质量的一种方法。Finding and evaluating community structure in networks：2003年newman第一次提出Modularity,以下为原文阅读笔记：A property that seems to be common to man...

鲁棒这个词第一次听是在学习c语言的时候，那时候还学了一个健壮性，两个词不知道为什么觉得很粗鲁，跟程序没啥关系，感觉是凑上来的性质，下面就看看在机器学习里面的鲁棒是个啥东西？最小二乘法学习的过程中如果有异常数据（不可避免地）出现的时候，会使曲线的拟合程度大打折扣，这时候提出鲁棒的观点就是：在统计学领域和机器学习领域，对异常数据也能保持稳定，可靠的性质，称为鲁棒性。L1损失最小化学习：（L1损...

首先是间隔这个概念,参考吴孟达老师笔记的这篇博客:https://blog.youkuaiyun.com/blackyuanc/article/details/78904729其实简单点来理解,间隔就是样本点与分割线之间的距离,当间隔大的时候,样本点与分类线之间的距离远,分类效果明显.当样本点的间隔小,即与分类线之间的距离很小,这样当学习继续进行,很有可能该分类点从一个分类区间分到了另一个分类区间,使...

态射：一种数学结构映射到另一种数学结构所使用的一种规则。拓扑空间：  是一个集合X和其上定义的拓扑结构τ组成的二元组（X，τ）。其中拓扑结构包括开集，闭集，邻域，开核，闭包等等子概念。拓扑空间最为对象，连续映射作为态射构成了拓扑空间范畴：X是一个集合，O是一些X的子集构成的族，则(X,O)构成一个拓扑空间的充分必要条件：1.空集和X属于O2.O中任意多个元素并集仍属于O3.O中任...

>> rand('state',0);randn('state',0);n=10;N=1000;x=linspace(-3,3,n)';X=linspace(-4,4,N)';y=x+0.2*randn(n,1);y(4)=-4;y(5)=3;p(:,1)=ones(n,1);p(:,2)=x;t0=p\y;t1=p\y;e=1;for o=1:1000r=abs(p*...

vc维度概念：   它是描述函数集或学习机器的复杂性或者说是学习能力(Capacity of the machine)的一个重要指标。vc维反应函数集的学习能力，VC维越高学习机器的复杂性越高（容量越大）。结构风险最小化：   在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。推广的界：  期望误差R(ω) ≤ Remp...

 >> rand('state',0);randn('state',0);n=50;N=1000;x=linspace(-3,3,n)';X=linspace(-3,3,N)';pix=pi*x;y=sin(pix)./(pix)+0.1*x+0.2*randn(n,1);y(n/2)=-0.5; hh=2*0.3^2;l=0.1;e=0.1;x2=x.^2; X2...

单纯的最小二乘法对于包含噪声的学习过程经常会有过拟合的弱点。因此往往采用带有约束条件的最小二乘法。在有参数的线性模型：把参数空间限制在一定范围内 约束条件：  在这里P是满足的b*b维矩阵，表示的是矩阵p的值域R(P)的正交投影矩阵。通过附加这样的约束条件，参数就不会偏移到值域R(P)的范围外了。https://www.cnblogs.com/sddai/p/6055433.htm...

https://blog.youkuaiyun.com/xuexiyanjiusheng/article/details/46928771