信道编码理论【信息论安全】

介绍两种简单实用的信道编码——CRC校验和汉明码 本文中要讲的,CRC校验码和汉明码,都属于信道编码,它们实现起来简单,效果却非常好。 阅读详情

目录

一. 信道编码模型

二. 信道编码速率与错误译码率

2.1 信道编码速率

2.2 平均错误率

三. 信道容量

四. 小结


一. 信道编码模型

(1)消息

假定消息集合为M,如下:

M=[1,2^{nR}]

(2)编码

将消息m映射成码字x^n,该码字的长度为n,可以通过编码函数实现,如下:

f:M\to X^n

(3)译码

信道的输出长度与输入长度相等,均为n。将输出的y^n可以译码成\hat m\in M,也可能译码错误为“?”。此过程可通过译码函数g实现,如下:

g:y^n\to M\cup \lbrace ?\rbrace

要求信道的传输过程为离散无记忆信道,如下:

DMC(X,p_{Y|X},Y)

以上过程即为信道编码(channel code)C_n,重要的参数包含(2^{nR},n)。形式化的完整定义如下:

二. 信道编码速率与错误译码率

2.1 信道编码速率

可以设计不同的编码函数,从而形成不同的码本(codebook),如下:

\lbrace f(m):m\in [1,2^{nR}]\rbrace

通常而言会假定消息空间M是均匀随机分布的,由此信道编码速率其实就是R。因为信道编码的目的是加冗余,在网络安全模型中,该R的值一般为小于1的数。当然,考虑到会有小数的情况出现,所以完整的信道编码速率为:

\frac{1}{n}log\lceil 2^{nR}\rceil

信道编码速率的单位是bit/channel use。

2.2 平均错误率

当译码的\hat M和编码的M不同时,则出现了错误译码。由此定义平均错误概率为:

其中C_n代表会公开所有编码和译码的理论依据,P_e代表错误概率。所以该概率写成了条件概率的形式。

三. 信道容量

信道可达的速率要求,当编码长度足够大时,错误译码的概率需要接近于0,也就是:

相当于当编码长度越来越大时,方案错误率越来越低,但是方案的效率也会越来越低。很明显,满足可达速率的方案有很多,那么最大的速率可以达到多少呢?

当速率达到最大值时,就出现了信道容量(channel capacity)的概念,如下:

其中sup代表可达的上界。

在无线通信中,信息论只依赖于给定的概率分布,因为求的是可达速率的上界,所以跟编码的长度n或k都没有关系。

如果某个编码方案可以实现信道容量的话,则被称之为direct result,相应的证明过程则被称之为achievability proof。

当有定义证明没有编码方案可以实现信道容量的话,则被称之为converse result,相应的证明过程则被称之为converse proof。

这就是所谓的编码定理。当年香农是这样总结的:

Notice that the formulation of the point-to-point communication problem does not put any constraints either on the computational complexity or on the delay of the encoding and decoding procedures. In other words, the goal is to describe the fundamental limits of communications systems irrespective of their technological limitations.

四. 小结

通信技术发展日新月异, 使我们的社会变成为一个万物互联的社会。目前已有超过 500 亿台通信连接设备,它们在医疗保健、自动驾驶、制造业、农业、航运和娱乐等行业中发挥着巨大的作用。预测2035 年全世界经济收益总产出实现 12.3 万亿美金, 2036 年, 通讯经营公司将会在全世界雇佣 2200 万务工人员。 5G 就是其中一个例子,它目前有三个不同的应用:

(1) eMBB-加强移动信号宽带;

(2) URLLC-超安全可靠的低延迟作用通讯;

(3) mMTC-大型机器种类通讯。

这三个使用都有不同的要求,从 eMBB 的高达 10Gbps 的速率到 URLLC 少于 10e-5 丢包,以及通过 mMTC 设想的超过500 亿个低功耗设备。

现代数字通信的核心之一是信道编码,或者也称为前向纠错( Forward Error Correction,FEC),根据未来通信系统的条件,信道编码还必须满足如高速率、超高可靠性以及低功耗等要求。信道编码领域自诞生之日起就对社会产生了深远影响。在 70 年代末, Ungerboeck 指出了协同调节控制和程序代码设计方案—格子程序代码调节控制(Trellis-Coded Modulation) 。这个方案能够将普通电话线上的调制解调器的吞吐量从 23kbps 提高到 45kbps。

Arikan 在 2009 年第一次提出了极化码, 而且在理论上充分证实了极化码在二进制输入对称离散无记忆信道下,就能够“实现”香农容量, 这对于我们实现大容量通信传输的信道编解码技术有重要意义,并且极化码的编译码算法都具备较低的复杂度, 性能在特定码长下也非常优秀。然而在实际的应用中,传输信道的状态在变化,为了适应这种变化,我们就需要对极化码的码长、码率等参数进行灵活调整。

第五代移动通信对通信传输的高品质要求,决定了其对于高速率、高可靠、低时延的译码器的需求。对于极化码, 即使传统类型的译码算法及改善过的算法都具备了非常好的译码性能, 例如 SC 译码算法及其改进译码算法, 然而在译码时延上受制于译码算法本身, 需要在低时延上继续获得突破。

数字通信:信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码 在通信系统中,信息的传输通常需要经过一系列的处理步骤,确保数据可以在信道中高效且可靠地传输。以下是信源编码、信道编码、调制、物理信道、解调、信道解码、信源解码的具体含义及其常见技术的解释。 阅读详情

相关推荐

[信道编码/Channel Coding】信道编码的整体框架

信道编码是通信系统中非常重要的一环,它使我们构建的通信系统在一定条件下拥有检错和纠错的能力。而随着历史的演进,信道编码技术在不断地丰富,诞生了许多值得了解学习的编码技术。 本篇文章将梳理信道编码的整体框架,旨在让读者对信道编码有一个系统性的认识。而每项技术的细节将在专栏的其他文章中展现。

Tomatomatodo的博客 5735

第六章 信道编码

信道编码的目的: 为了提高信号传输的可靠性,改善通信系统的传输质量。 信道可以理解为传输水的管道,主要是为了传输码元,信道的大小也会影响到传输的速率,就想管子的口径大,那么传输的水量同样大,信道的传输也是这个道理。 信道编码基本原理图: 差错率:差错率是衡量传输质量的重要指标之一。 比特差错率/比特误码率:指在传输的二进制位总数中发生差错的位数所占的比例。即是平均接收到一个二进制位所产生的错误大小。也称为平均错误概率。 编码码率R(编码效率):每码元携带的平均信息量。 ...

qq_41944420的博客 7968

信息论与编码

编码在信息论里分为两大块,一块是信道编码,一块是信源编码。(一)信道编码 1. 香农有噪信道编码定理香农有噪信道编码定理指出一个令人惊叹的事实,尽管噪声会带来干扰,我们还是可以以任意小的错误概率传送数据信息,这是整个现代信息论的基石,因此此定理也被称为信息原理基本定理。为了达到这个任意小的错误概率,我们需要对信息码元进行监督和检测,这就需要增加数据的冗余度。同时,给定信道有一个极限信息率,只有在这...

Momogir_air的博客 1万+

一篇文章彻底搞懂信道编码

本文详细介绍了三种前向纠错码,重复码,分组码和卷积码。另外还补充了交织和反馈重传机制。

阿钊侃技术的博客 6389

【信息科学与工程学】【通信工程】第十九篇 网络智能化与网络语义01

语义函数

weixin_49199313的博客 852

信息论与编码理论全面课件资源

熵最初是热力学中的一个概念,由德国物理学家克劳修斯提出,用来描述系统中无序度的程度。在信息论中,熵被类比为消息或系统的不确定性。熵的数学定义为:其中,(H(X))是随机变量(X)的熵,(p(x_i))是该变量取值(x_i)的概率。从物理学到信息论,熵的度量从描述热力学状态的混乱度转向了信息的不确定性。这种度量揭示了信息的真正价值——信息的稀缺性和预期效应。互信息用于量化两个随机变量间共享的信息量。其数学定义为:[I(X;其中,(I(X;Y))表示随机变量(X)和(Y)的互信息。

weixin_29476595的博客 804

信息论与编码思维导图_信息论-绪论

信息论是人们在长期通信工程的实践中,由通信技术与概率论,随机过程和数理统计相结合而发展起来的一门学科。公认信息论的奠基人是数学家,美国贝尔实验室科学家香农(C.E.Shannon),他在1948年发表著名论文《通信的数学理论》,为信息论奠定理论基础。1.1 信息的概念 在日常生活中,信息常常被认为就是“信息”,“情报”,“知识”,“情况”等。的确,信息与他们之间有着密切联系...

weixin_36242060的博客 2825

信息论与编码理论基础完整教学PPT

在数字化时代,信息论作为理解和处理信息的基础理论,对通信技术的发展起到了核心作用。本章将对信息论的一些核心概念进行简要介绍,为之后章节中对熵、互信息、信源编码和信道编码等更深入话题的探讨打下基础。信息论的诞生可以追溯到20世纪中叶,当时克劳德·香农发表了一篇名为《通信的数学理论》的开创性论文,奠定了信息论的基础。信息论关注于信息的有效传输和存储,其核心概念包括熵、互信息、信源和信道编码等。熵在信息论中是一个关键概念,它描述了一个系统信息量的不确定性。

weixin_42593130的博客 1030

[信息论与编码理论专题-27]:信源编码、信道编码、调制编码、保密编码?

表格编码类型目的是否增加冗余?理论基础典型标准信源编码高效表示减少冗余香农第一定理(信源编码定理)信道编码可靠传输增加冗余香农第二定理(信道编码定理)调制物理适配无(但影响频谱效率)信号与系统、信息论QAM, OFDM保密编码安全防护可能增加(如填充)密码学 + 信息论(香农保密理论)

文火冰糖(王文兵)的博客 755

信息论与编码理论教辅资料概览

在信息论领域中,信息通常是指数据或消息中的不确定性或新颖性。从数学和逻辑的角度来看,信息的内容与数据的出现概率负相关:如果一个事件的概率越小,它传递的信息量就越大。数学上,信息量可以使用对数函数来度量,具体来说,信息量I可以定义为:其中,( p )表示某个事件发生的概率。此公式中,信息量随着事件概率的增加而减少。例如,如果一个事件几乎是确定的,即( p \approx 1 ),那么它的信息量几乎为零。信息的度量不仅限于单个事件。

weixin_42451850的博客 737

thinkcmf 代码执行 (CVE-2019-7580) 漏洞复现

所有文章,仅供安全研究与学习之用,后果自负! thinkcmf 代码执行 CVE-2019-7580thinkcmf 代码执行 (CVE-2019-7580)0x01 漏洞描述0x02 影响范围0x03 漏洞复现3.1 登录后台3.2 漏洞利用3.2.1webshell3.2 phpinfo3.3 获取系统命令0x04 漏洞修复 thinkcmf 代码执行 (CVE-2019-7580) 复现小心会搞崩环境。 0x01 漏洞描述 ThinkCMF是一款支持Swoole的开源内容管理框架(CMF),基于Thi

YouthBelief的博客 4261

[信息论与编码理论专题-9]:信息论在通信系统中的应用

通信环节信息论贡献实际技术体现信源处理熵 → 压缩极限信道编码信道容量 → 可靠传输极限LDPC, Polar, Turbo 码调制与资源分配注水定理、容量公式AMC, OFDM 功率分配多天线系统MIMO 容量理论多用户接入多址容量区域安全通信保密容量物理层安全网络架构网络信息论网络编码、中继协作💡香农的启示“通信的基本问题是在一点精确地或近似地复现在另一点所选取的消息。

文火冰糖(王文兵)的博客 524

使用SAM进行遥感图像语义分割

SAM(Segment Anything Model)的成功表明了以数据为中心的机器学习的重要性。然而,由于遥感(RS)图像注释的困难和高成本,大量有价值的RS数据仍然没有被标记,特别是在像素级。在这项研究中,我们利用SAM和现有的RS物体检测数据集,开发了一个高效的管道来生成大规模的RS分割数据集,称为SAMRS。SAMRS在规模上超过了现有的高分辨率RS分割数据集几个数量级,并提供了物体类别、位置和实例信息,可用于语义分割、实例分割和物体检测,无论是单独还是组合。

lalula的博客 7449

信息论与编码篇---信息论主要研究内容

信息论核心研究内容可以概括为:在不可靠通信环境中实现高效准确的信息传递。其六大关键环节包括:1)信息度量(用熵量化信息价值);2)信源编码(数据压缩);3)信道编码(纠错防篡改);4)信道容量(传输物理极限);5)率失真理论(质量与成本的权衡);6)密码学基础(保密通信)。这些理论支撑了现代通信技术,从数据压缩到5G信号传输,从二维码识别到深空通信,信息论为数字时代提供了可靠通信的理论框架和方法论。

在你不想做的时候,正是应该做的时候。 1159

智能车竞赛疯狂电路组:Altium Designer赛道设计与计分策略全解析

本文全面解析智能车竞赛疯狂电路组中,如何利用Altium Designer进行专业赛道设计。从软件基础操作、图层管理与封装库调用,到赛道拓扑绘制、核心尺寸规范,详细拆解设计全流程。文章深入结合计分策略,指导如何在设计阶段植入策略点,优化路径与元器件布局,以在比赛中获得时间优势,并提供了从图纸输出到实地测试的完整避坑指南。

beta5的博客 583

OLED 驱动模块程序代码

作为嵌入式软件开发,可能经常会使用单片机连接驱动显示屏,实现人机交互的功能,通常可选择的有 OLED 和 LCD 等,其中相关驱动代码例程网上更是数不胜数。 本文介绍的是 OLED, 常见代表有 0.96 寸的OLED,网上也有很多相关的驱动代码,但是大部分代码都是能用即可,不是特别关注驱动代码的整体架构,以下是个人整理的 OLED 驱动代码,支持配置 SPI 和 IIC 两种接口方式(目前只是测试了 SPI,IIC 有待验证)。

大橙子的博客 4290

信息与编码 SCUEC DDDD 期末考试整理(2)

无失真信源编码定理,也称香农第一定理,是信源压缩编码的理论基础,其内容是:如果信源编码码率(编码后传送信源符号所需比特数)不小于信源的熵,就存在无失真编码,反之,不存在无失真编码。16.信息论的研究对象:信息论是一门应用概率论、随机过程、数理统计和代数的方法,来研究广义的信息传输、提取和处理系统中一般规律的工程学科。:信息存在与自然界,人类社会,其本质是运动的和变化的,哪里有事物的运动和变化,哪里就有信息。研究信息论的目的是为了可靠,高效,安全,经济并且随心所欲地交换和利用各种各样的信息。

qq_52045638的博客 730

SolidWorks有限元分析流程

对于很多专业,在进行设计完成后,为了缩短开发周期,往往需要配合仿真结果进行,机械行业更是如此。平时大家多采用专业有限元仿真软件进行仿真分析,如ANSYS;不过SolidWorks软件因为制图简单,同时存在专用的有限元仿真模块Simulation,对于初学者往往更加适用,下面简单介绍下SolidWorks Simulation仿真流程。 1. 分析流程 关键步骤如下: **(1)创建算例;**对模型的每次分析都是一个算例,一个模型可以包含多个算例。 **(2)应用材料;**指定模型的材料属性,如铝合金、钢材等

DYH_BK的博客 3万+

探索信息世界的钥匙:《信息论与编码理论》第2版

探索信息世界的钥匙:《信息论与编码理论》第2版 【下载地址】信息论与编码理论第2版书籍资源分享 本书是一部深入浅出地探讨信息论与编码理论核心内容的经典之作,由资深学者编著,旨在全面而系统地呈现自1948年香农奠定理论基石以来,该学科的发展全貌及最新成果。从基础到前沿,本书为读者开启了一扇理解信息本质与数据传输加密技术的大...

gitblog_06635的博客 505

PCL 欧式聚类分割【2026最新版】

PCL中欧式聚类提取算法原理详解、代码实现以及一个大自然场景地物分割提取并保存分割结果到本地文件夹的应用案例。

点云侠的博客 40万+

三连杆平面机器人的动力学

0.前言 在这个例子中推导并实现三连杆平面机器人的运动方程。特别的,这里使用拉格朗日法推导运动方程。系统模型如下: 其中在枢轴点处Tm为驱动力矩【一般由伺服电机提供】; b*theta_d:为粘性阻尼扭矩 1、系统方程符号推导前--简介 首先明确欧拉-拉格朗日运动方程: 同样也可以根据作用在多体系统上的非保守力和非保守扭矩来定义广义力Qk。 作用在系统上的广义力的公式为: 其中: Qk:是与广义坐标关联的广义力 Nf_nc :是作用的非保守力的数量 Nt_nc:是作用的非保守扭矩的.

weixin_39090239的博客 4930

chair 10 china c语言,北京交通大学教师名录

Haina Zheng,Ke Xiong*, Pingyi Fan,Zhangdui Zhong, Khaled Ben Letaief, “Fog-assisted multi-user SWIPT networks:local computing or offloading,” early access inIEEE Internet of Things Journal, vol. PP, n...

weixin_34928522的博客 271

PyTorch深度学习实战(24)——使用U-Net架构进行图像分割

图像分割 (Image segmentation) 是计算机视觉领域中的一个重要任务,旨在将图像划分为具有语义信息的不同区域或对象。与目标检测任务不同,图像分割要求像素级别的精确定位和分类,将每个像素标记为属于哪个类别或属于哪个区域。在本节中,我们将介绍图像分割的基本概念,并训练一个基于 U-Net 架构的图像分割模型。

盼小辉丶的博客 1万+

【信息科学与工程学】计算机科学与自动化——第十篇 芯片设计00 芯片中的基础学科知识02

行号学科门类核心数学表达 / 算法产业化/芯片应用备注B712工程管理内部收益率 IRR:NPV=0 时的折现率芯片项目投资评估财务指标B713工程管理盈亏平衡点:Q_be = FC / (P - VC)芯片成本-产量分析决策B714工程管理学习曲线:C_n = C_1 · n^(-b)芯片良率爬坡、成本下降经验B715工程管理经济订货量 EOQ:Q* = √(2DS/H)原材料库存管理供应链B716工程管理安全库存:SS = z · σ_d · √LT晶圆、化学品库存服务水平B717工程管理产能利用率:U

weixin_49199313的博客 244

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

信道编码的安全性理论

以上模型中,我们是假设EVE为BEC信道,BOB为完美无错信道,推导出的信道编码结论。实际上,也可以让BOB为BEC信道,但是要求BOB出错的概率小于EVE出错的概率,也就是通常所说的窃听信道质量要差一些。正式讲之前,先铺垫一个很常用的概念,叫疑义度(equivocation),这个概念是从窃听者的角度来看的。也就是,如果ALICE不对明文比特进行信道编码,EVE总能获得一些信息,这是我们不想看到的。现在来看一个窃听模型。假定ALICE-BOB的信道是无错的,但窃听信道是二进制擦除信道,擦除的概率为。

forest_LL的博客 1592

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【免费下载】 信息论与编码理论 (第2版) 书籍资源

信息论与编码理论 (第2版) 书籍资源 【下载地址】信息论与编码理论第2版书籍资源分享 本书是一部深入浅出地探讨信息论与编码理论核心内容的经典之作,由资深学者编著,旨在全面而系统地呈现自1948年香农奠定理论基石以来,该学科的发展全貌及最新成果。从基础到前沿,本书为读者开启了一扇理解信息本质与数据传输加密技术的大门 ...

gitblog_06678的博客 1433
上一篇: 对角矩阵,投影矩阵,三角矩阵的特征值性质
下一篇: 详解矩阵的正交化(附例题分析)
唠嗑!
唠嗑! 优质创作者: 信息安全技术领域 优质创作者: 信息安全技术领域
博客等级 码龄5年 3万+粉丝 169原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唠嗑!

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值