分享各种学习心得和遇到的问题

对于一个连续随机变量XXX，其概率密度函数（PDF）为pxp(x)px，那么它的微分熵HXH(X)HXHX−∫−∞∞pxlog⁡pxdxHX−∫−∞∞​pxlogpxdxpxp(x)px是XXX的概率密度函数（PDF），表示在某个点xxx处的概率密度。log⁡\loglog是以自然对数为底（可以使用log⁡2\log_2log2​表示信息量为比特，或使用ln⁡\lnln。

香农熵（Shannon Entropy）是衡量信源符号不确定性的一个指标。对于一个离散信源，假设该信源生成的符号集合为 ( S = {s_1, s_2, \dots, s_n} )，且每个符号 ( s_i ) 的出现概率为 ( P(s_i) )，那么信源的熵( H(X) ) 计算公式为：熵的单位是比特（bit），它代表了信源中每个符号所包含的平均信息量。对于无记忆信源，熵表示每个符号的平均信息量，换句话说，熵越大，信源的不确定性越高，压缩的难度也越大。

随机过程的期望与方差平稳性的判定、以及信号的自相关函数和平均功率。这些计算方法在随机过程和信号分析中非常常见。随机过程的期望与方差：通过线性组合公式计算期望，方差通过二次期望求解。平稳性判定：利用过程的均值和自相关函数进行判断，均值和自相关函数必须是常数或与时间差无关。信号的自相关函数与平均功率：自相关函数通过积分计算，平均功率为自相关函数在零延迟时的值。掌握这些公式和步骤，可以帮助我们快速解决随机过程和信号分析中的常见问题。

这两类题目分别涉及信息传输速率和误码率的计算。通过分析它们的解题步骤，我们可以总结出对应的计算方法和公式。

通过计算信源的熵和码元传输速率，我们可以得出信息传输速率。当信源符号的概率分布均匀时，信息传输速率较高；当符号的概率分布不均匀时，信息传输速率会略有降低，但通常变化不大。这种方法在数字通信系统的性能分析中具有广泛应用。在通信系统中，误码率和误信率是评估系统可靠性的重要指标。它们通过量化传输过程中发生的错误比例，帮助我们了解系统在传输数据时的误差情况。特别是在二进制系统中，误码率与误信率之间的简单关系使得对系统可靠性的评估更加直接。

码元速率和信息速率是数字通信系统的两个重要参数，决定了每秒传输多少数据及其有效性。在二进制系统中，码元速率和信息速率相等，而在多进制系统中，它们之间有着更加复杂的关系。频谱利用率则衡量了系统在单位带宽内的传输效率，是评价系统性能的关键指标之一。

在通信系统的设计和分析中，和是两个重要的性能指标。这两个指标直接影响通信系统的效率和质量。

对于一个高散信源，由 M 个符号组成的符号集x1x2xMx1​x2​xM​，每个符号xix_ixi​以概率PxiP(x_i)Pxi​Hx−∑i1MPxilog⁡2PxiHx−i1∑M​Pxi​log2​Pxi​单位为比特/符号。信息熵描述了信源输出符号的平均不确定性，概率越小的符号在信息量上贡献越大。

比特（bit）是的缩写，意为二进制数字。二进制系统是现代计算机和数字通信的基础，因为其简单的两个状态（0和1）可以通过物理装置（如电路的开关）实现。比特值0或1\text{比特值} = 0 \text{或} 1比特值0或1这两个状态可以用于表示各种类型的信息，从数字、文字到图像和视频。比特是信息的最小单位，多个比特组合可以构成更复杂的数据单元，例如字节（8个比特）。

设消息发生的概率为P(x) ，信息量为 I ，表示这个消息中包含的信息量。Ilog⁡a1Px−log⁡aPxIloga​Px1​−loga​Px这个公式表达了一个消息的信息量与它发生的概率成反比：概率越低，意味着这个消息越少见，它带来的信息量就越大。反之，概率越高，信息量就越小。

通信系统是现代技术的基础，通过信号传输信息到远方。和。这两种模型在信号传输方式上有所不同，各有其优缺点。

是 “bits per second”（比特每秒）的缩写，是衡量数据传输速率的基本单位。它表示在通信系统中每秒钟传输的**比特（bit）**数量。bps 常用于描述网络带宽、数据传输速率、通信速率等，数值越高，数据传输速度就越快。是最小的信息单位，通常用 0 或 1 来表示。表示在一秒钟内传输的二进制信息量。

信息论是由克劳德·香农（Claude Shannon）于1948年在他的论文《通信的数学理论》中首次提出的。香农提出了一个全新的数学框架，用来描述信息的传输和处理。他的理论不仅为现代通信技术奠定了基础，还引入了“信息量”这一概念，成为量化信息的重要工具。在通信系统中，信息传输的有效性和可靠性取决于我们如何对信息进行编码、传输以及如何处理噪声。香农提出的信息量衡量了符号序列的平均不确定性或信息含量，并帮助我们理解通信系统中如何以最有效的方式编码和传递信息。

码元速率 (Baud)信息速率 (b/s)log⁡2M\text{码元速率 (Baud)} = \frac{\text{信息速率 (b/s)}}{\log_2(M)}码元速率(Baud)log2​M信息速率(b/s)​这个公式展示了如何根据调制系统的进制数 ( M ) 和信息速率 ( R_b ) 计算码元速率 ( R_s )。

二进制系统的本质：二进制系统中，比特数与状态数之间的关系是指数关系，状态数是 2 的比特数次幂。便于计算：以 2 为底的对数可以直接将状态数转换为比特数，方便我们在通信系统中计算每个码元所能携带的信息量。每码元的比特数log⁡2M\text{每码元的比特数} = \log_2 M每码元的比特数log2​M其中，( M ) 是系统的进制数（状态数）。