qq_33278461的博客

一、Logistic回归：回归：用一条直线对一些数据点进行拟合（这条直线为最佳拟合直线），这个拟合过程就叫做回归。Logistic回归主要思想：根据现有数据对分类边界建立回归公式，以这个边界来分类。sigmoid函数：S型的函数，单增，值域在0-1之间。 导数可以用自身表示： sigmoid函数的输入记作： x=w_0 x_0+w_1 x_1+w_2 x_2+…+w_n x_n w是我

一、贝叶斯：D:训练数据 H:假设空间 h:假设 P(h):假设 h的先验概率 的先验概率 (Prior Probability) 即没有训练数据前假设拥有的初始概率 P(D):训练数据的先验概率 即在没有确定某一假设成立时的概率 p(D|h):似然度,在假设 h成立的情况下,观察到D的概率 p(h|D):后验概率,给定训练数据D时h成立的概率 后验概率正比于P(h)和P

一、概念决策树：每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。目标：最快的速度到达叶子节点，划分的节点尽量属于同一类 什么时候停止生长：1.到叶子2.拥有相似的属性值3.早期的终止方法！（剪枝） 算法 划分属性方法 基本思想 ID3 信息增益（Info Gain） 算法的基本思想是，以信息熵为度量用于

一、元算法、集成方法概念1.怎么使弱学习转化为强学习？ 核心思想：通过组合使弱学习互补 因为学习是不适定问题，在有限样本上，不同学习方法得到不同“规则”，并在不同的情况下失效，没有一种学习算法总是在任何领域下产生最好的分类效果。2.元算法：对不同的算法组合的一种方式。我们可以把不同分类器进行组合，这种组合结果被称为集成方法或元算法。3.使用集成方法的形式： 1)不同算法的集成 2)同一算法在

一、K近邻算法概念：找一个输入数据周围K个样本里大多数的类别，则输入数据就是这个类别。二：优缺点优点： 1.简单，易于理解，易于实现，无需估计参数，无需训练； 2.适合对稀有事件进行分类； 3.特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好。缺点： 1.该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很