DFCED的博客

在上一篇中，我们着重介绍了 集成学习的 Boosting 算法和Bagging算法 并介绍了它们的典型代表。这一篇中我们将着重介绍 结合策略 和 多样性。让我们一起来看看吧。四.结合策略4.1 学习器结合的三方面好处：从统计方面，降低因单一学习器误选导致的泛化性能不佳的风险；从计算方面，减低陷入糟糕局部极小点的风险；从表示方面，扩大假设空间，可能学得更好的近似。4.2 ...

一.个体与集成（图片来自网络）同质：只包含同种类型的个体学习器，相应的算法为“基学习器”。有时候基学习器被称为弱学习器。异质：包含多种个体学习器，个体学习器为“组件学习器”。集成条件：个体学习器好而不同，即个体学习器要有一定的“准确性”，而且要有“多样性”。研究核心：个体学习器的“准确性‘’和“多样性“存在冲突，准确性很高以后就要牺牲多样性，。产生并结合“好而不同”的个体学习器。集成...

线性模型1.基本形式例如用d个属性描述示例x=(x1,x2,…,xd)x=(x1,x2,…,xd),其中，xixi是x在第i个属性上的取值。线性模型（linear model)就是试图用一个线性组合来描述： f(x)=w1x1+w2x2+…+wdxd+bf(x)=w1x1+w2x2+…+wdxd+b 我们在其他很多的课程中肯定也接触到用层级结构或者高纬映射的线性模型去近似非线性模型（n...

贝叶斯本篇博客我们将讲述贝叶斯决策论常见的参数估计朴素贝叶斯算法半朴素贝叶斯模型和贝叶斯网络模型1.贝叶斯学派贝叶斯决策论是在概率框架下进行决策的基本方法之一，更是统计模式识别的主要方法之一。1.1贝叶斯学派和频率学派贝叶斯学派强调概率的“主观性”，这一点和传统的，我们比较熟悉的频率学派有所不同频率学派强调频率的自然属性，认为应该使用频率作为概率的估计贝叶斯学派认为随机...

决策树代码实现在上一篇《机器学习》之决策树原理中，我们从信息论开始详细介绍了 决策树的三种主要的算法，即 ID3，C4.5，CART 三种算法，介绍了它们的原理以及优缺点，又介绍了 两种 提升泛化能力的两种剪枝技术，预剪枝 和 后剪枝 ，并进行了比较接下来，我们继续完成 在上一篇中未完成的部分。6.1连续值处理对于连续值我们需要使用离散化技术，最简单的策略是使用二分法（图片来自网络）...

决策树1.定义：决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy = 系统的凌乱程度，使用算法ID...

感知机模型定义：感知机有两层神经元组成，如下图所示：输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。感知机能轻松实现逻辑与，或，非运算与：x1+x2-2，仅在x1=x2时，y=1或：x1+x2-0.5,仅在x1=1或x2=1是，y=1非：-0.6x1+0+0.5，当x1=1时，y=0，x1=0时，y=1感知机算法...