2.3.3人工智能数学基础(信息熵)(决策树)(概率)

老鼠与毒药(问题)

有100只一模一样的瓶子，编号1-100。其中99瓶是水，有一瓶是看起来像水的毒药。只要老鼠喝下一小口毒药，一天后则死亡。给你24小时时间,如何检验出哪个号码瓶子里是毒药?并且使用老鼠数量越少越好.

老鼠喝后一天才会毒发身亡.解决这类问题我们可以用到二进制的经典应用:

首先，将瓶子的10进制编号数改成7位的2进制码。然后，让第1只老鼠喝所有2进制码第1位是1的瓶子中的水；让第2只老鼠喝所有2进制码第2位是1的瓶子中的水；以此类推下去。这样，每个老鼠第二天的死活情况就决定了毒水瓶子二进制码这一位的数字：老鼠死，对应1，反之为0。换言之，将7只老鼠死活情况排成一排。比如说结果是“死活死死活活死”的话，毒水瓶子的二进制标签就是：1011001，转换成10进制，得到89。

信息是对不确定性的消除 。消除的不确定性越多，获得的信息量就越大

信息量的大小跟随机事件的概率有关。 越小概率的事情发生了产生的信息量越大，如北京地震了； 越大概率的事情发生了产生的信息量越小，如太阳从东边升起来了

假如我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？

他不愿意直接告诉我， 而要让我猜，并且我每猜一次，他要收一元钱才肯告诉我是否猜对了 那么我需要付给他多少钱才能知道谁是冠军呢?我可以把球队编上号，从 1 到 32， 然后提问： 冠军的球队在 1-16 号中吗?   假如他告诉我猜对了，我会接着问： 冠军在 1-8 号中吗? 假如他告诉我猜错了， 我自然知道冠军队在 9-16 中。这样最多只需要五次， 我就能知道哪支球队是冠军。 所以，谁是世界杯冠军这条消息的信息量就是5.

什么是信息熵 ?

熵度量了事物的不确定性，越不确定的事物，它的熵就越大。

具体的，随机变量 X 的