fsfsfsdfsdfdr的博客

 最近在做SVM的回归，发现svmpredict的返回值为空，很是郁闷，后来发现是因为libsvm的版本问题，如果我们使用的是以前老的版本，只需要输入两个参数就可以。[predict,mse] = svmpredict(TS,TSX,model);但是当使用3.18或者3.17版本时返回值为空，于是修改返回参数列表如下，变成了不为空。但是在3.20版本时，依旧为空显然...

分类算法# knn算法from sklearn.neighbors import KNeighborsClassifierknn = KNeighborsClassifier()'''__init__函数 def __init__(self, n_neighbors=5, weights='uniform', algorithm='auto'...

什么是归一化：归一化就是把一组数（大于1）化为以1为最大值，0为最小值，其余数据按百分比计算的方法。如：1，2，3.，那归一化后就是：0，0.5，1归一化步骤：如：2，4，6（1）找出一组数里的最小值和最大值，然后就算最大值和最小值的差值min = 2；  max = 6； r = max - min = 4（2）数组中每个数都减去最小值2，4，6 变成 0，2，4...

SSE(和方差、误差平方和)：The sum of squares due to errorMSE(均方差、方差)：Mean squared errorRMSE(均方根、标准差)：Root mean squared errorR-square(确定系数)：Coefficient of determinationAdjusted R-square：Degree-of-freedom adju...

前言最近在回顾李航的统计学习方法[1], 看到这一章, 准备好好梳理一下, 更加深入地理解原理以及背后的思想. 作者在这一章介绍了最大熵模型并且推导了对偶函数的极大化等价于最大熵模型的极大似然估计, 面对一大堆的概念, 我重新回顾了一遍其中相关的内容.1 最大熵模型最大熵原理是在 1957 年由 E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合...

最大熵模型这里先贴上书上的算法算法我们的f(x,y)f(x,y)如下所示，根据其定义可知f#(x,y)f#(x,y)必然为常数，因此采用公式6.34更新迭代即可f(x,y)={10(x,y)∈train setelsef(x,y)={1(x,y)∈train set0else还要注意一下，公式6.34中的M值可以理解成学习速率，最好直接设置成一个...

Mercer定理：任何半正定对称函数都可以作为核函数。核函数作用：接受两个低维空间里的向量，可以计算选出经过某种变换后在高维空间里的向量内积。核函数的充要条件是K矩阵是半正定的。 将K特征值分解，有V'KV=∧,K=V∧V' 经特征映射将属性值映射到特征空间Ф：xi->sqrt(λ:)*Vi: （根号对角特征值阵*第i点对应的特征向量阵的第i行阵） 核函数K(x,z)对应于特征映射Ф...

（一）归一化的作用在机器学习领域中，不同评价指标（即特征向量中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。其中，最典型的就是数据的归一化处理。（可以参考学习：数据标准化/归一化）...

target = [1.5, 2.1, 3.3, -4.7, -2.3, 0.75]prediction = [0.5, 1.5, 2.1, -2.2, 0.1, -0.5] error = []for i in range(len(target)): error.append(target[i] - prediction[i]) print("Errors: ", ...

 最近开始玩起了机器学习，以前都是用matlab做一些机器学习的东西，毕竟要真正放到工程上应用还是python用起来比较好，所以今天就开始学习下使用SVM进行回归（分类）预测。SVM 使用的一般步骤是：1）准备数据集，转化为 SVM支持的数据格式 ：[label] [index1]:[value1] [index2]:[value2] ...即 [l类别标号] [特征1]:[特征值]...

对svmtrain函数的输入参数和返回值进行说明1. 训练libsvm函数用于对训练集的数据进行训练，得到训练好的模型。model = libsvmtrain(training_label_vector, training_instance_matrix ['libsvm_options']);这个函数有三个参数，其中-training_label_vector:训练样本的类标，...

 概念：层次分析法（Analytic Hierarchy Process ，简称 AHP ）是对一些较为复杂、较为模糊的问题作出决策的简易方法，它特别适用于那些难于完全定量分析的问题。它是美国运筹学家T. L. Saaty 教授于上世纪 70 年代初期提出的一种简便、灵活而又实用的多准则决策方法一、步骤1、建立递阶层次结构模型2、构造出各层次中的所有判断矩阵3、层次单排序及...

1.熵与最大熵原理熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布假设离散随机变量X的概率分布为P(x)，则其熵为：联合熵和条件熵两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示条件熵H(X|Y) = H(X,Y) - H(Y) 相对熵与互信息 设p(x),q(x)是X中取值的两...

一、基本原理在信息论中，熵是对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性越大，熵也越大。根据熵的特性，可以通过计算熵值来判断一个事件的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越大，该指标对综合评价的影响（权重）越大，其熵值越小。在信息论中，熵是对不确定性信息的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，...

最近在学习支持向量机，对经验风险最小化与结构风险最小化不是很了解，仔细研究后发现原来真的很简单。首先要了解一下几个概念。置信风险： 分类器对 未知样本进行分类，得到的误差。经验风险： 训练好的分类器，对训练样本重新分类得到的误差。即样本误差结构风险：置信风险 + 经验风险泛化误差界的公式为：R(w)≤Remp(w)+ϕ(h/n)R(w)≤Remp(w)+ϕ(h/n) 公式中R...

粒子群算法的发展过程。粒子群优化算法（Partical Swarm Optimization PSO），粒子群中的每一个粒子都代表一个问题的可能解，通过粒子个体的简单行为，群体内的信息交互实现问题求解的智能性．由于PSO操作简单、收敛速度快，因此在函数优化、 图像处理、大地测量等众多领域都得到了广泛的应用. 随着应用范围的扩大，PSO算法存在早熟收敛、维数灾难、易于陷入局部极值等问题需要解决，主要...

链接：https://pan.baidu.com/s/1fKZEj_Ji1EXS7au0KlewMQ   密码：z5h9内容简介读者调用案例的时候，只要把案例中的数据换成自己需要处理的数据，即可实现自己想要的网络。如果在实现过程中有任何疑问，可以随时在MATLAB中文论坛与作者交流，作者每天在线，有问必答。该书共有43个MATLAB神经网络的案例(含可运行程序)，包括BP、RBF、SV...

说到机器学习，相信大部分的研究者都是使用python来完成的，因为是实在太方便了，几行代码就搞定了，比较前人做的研究都积累在那边，所以今天我又重新安装了python（还不是因为要做机器学习方面的实验和luwn论文），so开始吧！1、常用Python机器学习包Numpy：用于科学计算的包Pandas：提供高性能，易于使用的数据结构和数据分析工具Scipy：用于数学，科学工程的软件...

1粒子群算法思想的起源 粒子群优化(Particle Swarm Optimization, PSO)算法是Kennedy和Eberhart受人工生命研究结果的启发、通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法，自然界中各种生物体均具有一定的群体行为，而人工生命的主要研究领域之一是探索自然界生物的群体行为，从而在计算机上构建其群体模型。自然...