【信息论基础第二讲】离散信源的数学模型及其信息测度包括信源的分类、信源的数学模型、离散信源的信息测度、二元信源的条件熵联合熵

一、信源的分类

二、信源的数学模型

1、信源的概念

在通信系统中，收信者在未收到信息以前，对信源发出什么消息是不确定的、随机的、因此我们可以用随机变量、随机序列或者随机过程来描述信源的输出。严格地说，用概率空间来描述信源输出。 

2、信源的分类

（1）离散信源和连续信源

一般不说是离散还是连续我们都默认为离散信源 

（2）有记忆信源和无记忆信源

离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的彼此统计独立的

（3）平稳信源和不稳定信源

离散平稳信源：离散信源的概率分布不随时间变化 

3、信源熵