信息论学习笔记
文章平均质量分 90
Devil丶LY
一个兴趣使然的程序猿~
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【机器学习】信息熵的理解
信息量 信息量是衡量信息多少的度量,是对信息不确定性大小的测量,一个事物的不确定性越大,则其携带的信息就越多,其信息量也就越大,相反,一个事物的不确定性越小,则其携带的信息就越少,其信息量也就越少。 举个例子 “太阳从东边升起”,这是一件我们十分确定的事情,就算它发生了,我们也不能从其中提取出对我们有什么用的信息,所以它的信息量为0。 “太阳从西边升起”,这是一件几乎不可能的事情,一旦...原创 2019-11-05 13:34:51 · 584 阅读 · 0 评论 -
【信息论】离散信息源
1、离散信息源定义 一类信源输出的消息常常以一个个符号的形式,例如文字、字母等,这些符号的取值是有限个的或可数的,这样的信源称为离散信源。 2、离散信息源 {a1,a2,⋯ ,an} \begin{Bmatrix} a_{1},a_{2},\cdots,a_{n} \end{Bmatrix} {a1,a2,⋯,an}3、单符号离散信源数学模型 [xp(x)]=[...原创 2018-12-13 23:04:58 · 2134 阅读 · 0 评论
分享