什么是信息熵

      在通信领域中,香农是肯定会接触到的一个人,他提出的香农定律在通信领域中的地位等同于牛顿的定律在宏观物理中的地位.
      那什么是信息熵呢?
      标准说法是:离散随机事件的出现概率
    是对离散数据的一种统计.
    我记得我的<信息论与编码>考了七八十分,可惜现在都忘了.得重新开始温习.也许七八十分对别人不算什么,可是我当初在准备考研,不到一个小时就交卷了.呵呵.