Mental-Flow的博客

一、信息量信息（1.消除不确定性的事物，2.调整概率，3.排除干扰，4.确定情况）在介绍信息熵之前，让我们先来了解一下什么是信息量。信息量，信息量，字面意思是信息的量。既然信息可以量化。那么就有大小之分，那么信息量的大小和什么有关呢？信息量的大小其实和事件的不确定性有关。1、那么不确定性的变化又与什么有关呢？与结果的数量有关。与概率有关。2、信息量的特点有哪些呢？信息量是一个正数。信息量之间可以相加。信息量是连续依赖于概率的。在概率相同的情况下，可能结果数量多的和新的信息所具有

决策树的基尼系数计算过程1、基尼指数的计算在介绍具体的计算之前，先从一个例子入手吧。先看看下面这个数据，我们需要通过前三列的特征来推断出最后一列是yes，no1、数据Chest PainGood Blood CirculationBlocked ArteriesHeart DiseaseNoNoNoNoYesYesYesYesYesYesNoNoYesNo???Yesetc…etc…etc…etc…2、统计C

朴素贝叶斯（学习笔记）前言：朴素贝叶斯应该可以说是机器学习十大算法里面里面比较简单的一个了，它主要解决的问题就是一个分类的问题。1、贝叶斯定理学过概率论的同学应该都知道贝叶斯定理，所以这里我直接给出它的数学表达式P(Bi|A)=P(Bi⋅A)P(A)\frac{P(Bi·A)}{P(A)}P(A)P(Bi⋅A)​=P(A∣Bi)⋅P(Bi)∑j=0nP(A∣Bj)⋅P(Bj)\frac{P(A|Bi)·P(Bi)}{\displaystyle\sum_{j=0}^nP(A|Bj)·P(Bj)}j=0∑