用C语言实现：信息熵的计算（通过输入任意信源数量和相应的概率得到）

最新推荐文章于 2021-05-24 02:17:27 发布

原创

最新推荐文章于 2021-05-24 02:17:27 发布 · 7.6k 阅读

45 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #c语言

本文详细介绍使用C语言实现信息熵计算的过程。首先解释了信息熵的数学表达，包括自信息和平均信息量的定义。随后，通过示例代码展示了如何输入任意信源数量及对应概率，进而求得信息熵。适用于信号处理、信息论和数据压缩等领域。

（一）用C语言实现：信息熵的计算

(1) 信息熵的数学表达

1.1 自信息数学表达：

设离散信源X，其概率空间为：
在这里插入图片描述
如果知道事件xi已发生，则该事件所含有的自信息定义为：

1.2 信息熵数学表达：

平均信息量—信源熵：自信息的数学期望。
在这里插入图片描述

信息熵的单位：比特/符号。

(2) C语言实现信息熵计算

2.1 实现的功能

实现：可以输入任意的信源数量，以及对应数量的空间概率，从而求得任意的信息熵。

2.2 代码部分

#include <math.h>
#include <stdio.h>
#define	LOG_N 2

float self_info2(float p[],int *r);
int main(){
    int		input_number=0;
    int		output_number;
    int		*r;
	float	p[input_number]; 
	float	H=

最低0.47元/天解锁文章