alphahero的博客

决策树是由一个个“决策”所组成的树，放“决策依据”的是非叶节点。放“决策结果”的是叶子节点ID3算法熵：熵描述数据的不确定度，是随机变量不确定度的度量。熵越大，信息不确定度越大，数据越“混乱”，越不符合决策树分类的需求D是样品集合，Pk是第k类样品所占的比例例如：太阳从升起，必然事件，P=1，则1*log2(1)=0;必然事件熵为0；抛一枚硬币的结果，P1(正面朝上）=P2=1/2；则Ent(D)=-1/2(log2(1/2)+log2(1/2))=1;随机变量越不确定，熵越大。信息增

因子分析主成分分析通常和聚类、判别、回归分析等方法合用。主成分可以不需要实际意义，公共因子必须要能进行实际解释的。对因子进行命名解释是因子分析的非常重要环节，如果无法对因子作出合乎实际的解释，这个分析只能算是无效的，必须更换条件重新运算。因子分析可以看成主成分分析的推广，它也是多元统计分析中常用的一种降维方式一、因子分析的前提条件：巴特利球度检验;KMO 检验. KMO 值越接近1,意味着变量间的相关性越强,适合做因子分析.(SPSS-分析-降维-因子分析-描述-KMO和Bartlett球形度检

主成分估计采用的方法是将原来的回归自变量变换到另一组变量，即主成分，选择其中一部分重要的主成分作为新的自变量（此时丢弃了一部分，影响不大的自变量，这实际达到了降维的目的），然后用最小二乘法对选取主成分后的模型参数进行估计，最后再变换回原来的模型求出参数的估计。例：有一组水泥热量值数据：降维：(判断标准很多，但有些是相关性很高的，在相关性高的标准中选一即可，即为降维）Spss软件 分析-降维-因子分析得到初方差解释表，特征值在此处；成分矩阵表中，成分矩阵中的值，除以该成分的特征值的平方根，才得到该

Logistic回归logistic回归主要用来预测离散因变量（分类因变量）与一组解释变量（自变量）之间的关系。最常用的是二分类logistic，即因变量的取值只包含两个类别，例如：“好”和“坏” ；“发生”和“不发生”。那么，因变量常用Y=1（发生）或Y=0（不发生）表示， X则表示自变量。例：企业到金融商业机构贷款，金融商业机构需要对企业进行评估。评估结果为 0 , 1 两种形式，0 表示企业两年后破产，将拒绝贷款，而 1 表示企业 2 年后具备还款能力，可以贷款。在表 6 中，已知前 20 家企业

clc, clear, close alla1=imread('000.bmp');[m,n]=size(a1);dirname = 'ImageChips';files = dir(fullfile(dirname, '*.bmp'));a=zeros(m,n,19);c=zeros(m,n,19);pic=[];for ii = 1:length(files) filename = fullfile(dirname, files(ii).name); a(:,:,ii)=im..