On Deep Learning-Based Channel Decoding（阅读笔记）未完待续——

最新推荐文章于 2024-04-17 11:13:29 发布

原创

最新推荐文章于 2024-04-17 11:13:29 发布 · 706 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #python #tensorflow

本文探讨了使用深度学习对随机和结构化编码进行解码，尤其是关注深度学习在极性码解码中的应用。研究发现，结构化代码比随机代码更容易学习，并且神经网络能推广到未见过的结构化码字。通过引入归一化验证误差（NVE）作为性能指标，作者揭示了基于深度学习的解码在性能和复杂性方面的潜力和局限性，尤其是在处理短码字长度时。

On Deep Learning-Based Channel Decoding

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
例如：第一章 Python 机器学习入门之pandas的使用

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

提示：这里可以添加本文要记录的大概内容：
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

提示：以下是本篇文章正文内容，下面案例可供参考

一、abstract

摘要—我们重新审视了使用深度神经网络对随机和结构化代码(如极坐标代码)进行一次性解码的想法。尽管对于两种码族和短码字长度来说，都有可能实现最大后验(MAP)误码率(BER)性能，但是我们观察到(I)结构化代码更容易学习，并且(ii)神经网络能够推广到在结构化代码的训练期间从未见过的码字，但对于随机代码却不是这样。这些结果提供了一些证据，表明神经网络可以学习一种形式的解码算法，而不仅仅是一个简单的分类器。为了进一步研究基于深度学习的解码在性能和复杂性方面的潜力和局限性，我们引入了度量归一化验证误差(NVE)。

二、INTRODUCTION

1.研究背景

翻译：

基于深度学习的信道解码注定要受到维数灾难的影响[1]:对于长度为N = 100、速率为r = 0.5的短码，存在250个不同的码字，这些码字太多，实际上无法完全训练任何神经网络。神经网络可以被训练为实际块长度的唯一方法是，如果它学习某种形式的解码算法，该算法可以从对一小部分码字的训练中推断出完整的码本。然而，为了能够学习解码算法，代码本身必须具有某种基于简单编码规则的结构，如卷积码或代数码。本文的目的是阐明结构化代码是否比随机代码更容易“学习”，以及神经网络能否解码训练中从未见过的码字。我们要强调的是，这项工作基于非常短的块长度，即N ≤ 64，这使得能够与最大后验(MAP)解码进行比较，但对物联网(IoT)等实际应用也有独立的兴趣。由于指数训练的复杂性，我们目前仅限于短码[1]。因此，神经网络解码(NND)的概念目前还不能与最先进的解码算法相竞争，这些算法在过去几十年中已经被高度优化，并可扩展到任意的块长度。

是的，可能存在某些有助于学习过程的代码结构。我们的主要发现之一是，结构化代码确实比随机代码更容易学习，即所需的训练时间更少。另外，我们的结果表明，只要代码具有结构，在仅看到示例子集之后，NN可以将其整体化或“内插”到完整的代码本。

2.相关工作

1943年，McCulloch和Pitts提出了神经网络的思想，该神经网络可以模拟人脑的结构以解决问题[2]。但是用了大约45年的时间，反向传播算法[3]使得有用的应用程序，例如手写邮政编码识别[4]成为可能。 NN的一种早期形式是Hopfield网络[5]。事实证明，此概念类似于线性块纠错码（ECC）的最大似然解码（MLD）[6]：错误的码字将收敛到代表最可能的码字的Hopfield网络的最近稳定状态。 MLD的一个简单的实现意味着将接收到的调制符号矢量与所有可能的码字相关，这使得它对于大多数实际的码字长度都是不可行的，因为解码复杂度为(2**K)其中k表示代码字中的信息位数。 NN的并行计算能力使我们能够在多项式时间内解决或至少近似MLD问题[7]。此外，NN的权重是在训练过程中预先计算的，因此解码步骤本身就相对简单。

由于其低存储容量，Hopfield网络很快就被前馈NN所取代，前馈NN可以学习嘈杂的输入模式和码字之间的适当映射。无需假设信道噪声的统计信息，因为NN能够在学习过程中学习映射或提取信道统计信息[8]。关于使用NN进行解码的不同想法在90年代出现了。尽管在[8]中，输出节点表示代码字的