机器学习--集成算法

#前言

  本篇博客会和大家分享一下有关集成算法的相关理论知识，都会结合个人认为比较好理解的例子给大家做一个简单的介绍，如果想要了解更加深入的相关知识，大家可以自行去进行一个详细的搜索和学习。

#集成算法概述

  我们在集成算法中运用到的最多的模型其实就是树模型，这里我们可以去类比一下在高中时所学习到的电路知识，由于涉及到多个树模型的应用，那么这些树模型该如何排布？有些树模型还是按照并联电路的方式进行排列的，例如Bagging模型，也就是我们常说的随机森林，以及将树模型进行串联电路的方式进行排列的，例如Boosting模型

#随机森里模型

  正如上面所说，在随机森林模型中，我们将多个树模型进行并列运行，各个树模型在彼此运行时相互独立，这样也就可以极大的提升效率，但是这里我们不妨考虑一下，对于我们的随机森林来说，我们对每个树模型输入的数据相同，而树模型本身的算法相同，这也就意味着每一个树模型的输出结果是相同的，那我们对于树模型的堆叠就毫无意义，因为输出的结果是相同的。

  

                                                                       （随机森林的数学表达式） 

  为了解决这个问题，我们提出了一个解决思路，那就是随机采样，这里的随机采样设计到两个方面，一个是数据随机采样，一个是特征随机采样。比如现在有100个数据和