优胜奖方案|首届6G AI大赛@明光楼炼丹炉队 解题思路分享

今日分享：首届6G AI大赛 优胜奖方案
分享队伍：明光楼炼丹炉队
赛题名称：《基于AI的信道建模与虚拟信道构建》（即：AI based Channel Modeling and Generating）
赛题链接： https://www.datafountain.cn/competitions/557

获奖队伍简介

明光楼炼丹炉队：

“明光楼炼丹炉”队，是一支由北京邮电大学的博士生和研究生组成的兴趣科研小队。本队成员来自于不同的实验室，各自专注的科研方向也不尽相同。其中，队长唐都和队员吴贞的主要研究方向为光通信，主要聚焦于超高速相干光纤通信中非线性损伤均衡；队员尹佳鑫和胡彤主要研究方向是大数据分析，通过对各种金融数据的分析以及网络模型的构建，检测出数据中存在的异常。我们是一支有战斗力，能以一当十的优秀团队。在团队中的每个人都是能独当一面，在各个领域出类拔萃的人才。俗话说，“能用众力，则无敌于天下矣；能用众智，则无畏于圣人矣”，出于对科研和探索的热情，我们走到了一起，希望通过集合我们每个人的智慧之光，让团队迸发出更加闪耀的光芒。

摘要

本支队伍在此次基于AI的信道建模与虚拟信道构建竞赛中针对题目中的两个信道分别构建了两种不同的神经网络模型用于对信道的建模。其中，针对第一个信道，我们基于Generative Adversarial Networks (GAN) [1]和残差网络结构[2]构建了一个深度网络模型，通过在网络中加入自定义的傅里叶变换[3]层，我们将接收信号转换到了频域，并且将时域信号和频域信号进行拼接，接着将拼接后的信号依次通过后面的网络模型。通过加入信号的频域信息，我们发现第一个信道在最终可以获得0.78的分数。对于第二个信道，与第一个信道类似，我们同样在网络模型中添加了信号的频域信息，但是不同的是，我们对第二个信道采用了Adversarial Autoencoders (AAE)[4]作为网络的主体结构，这使得网络收敛更快，而且建模效果更好，最终第二个信道获得了0.62的分数。

关键词

Generative Adversarial Networks (GAN)，Adversarial Autoencoders (AAE)，残差网络，信道建模，傅里叶变换

模型一

针对信道一的网络模型，模型主体采用了Generative Adversarial Networks (GAN) 的架构，该模型由两个基础神经网络即生成模型和判别模型所组成，其中一个用于生成内容，另一个则用于判别生成的内容。GAN受博弈论中的零和博弈启发，将生成问题视作判别器和生成器这两个网络的对抗和博弈：生成器从给定噪声中（一般是指均匀分布或者正态分布）产生合成数据，判别器分辨生成器的的输出和真实数据。前者试图产生更接近真实的数据，相应地，后者试图更完美地分辨真实数据与生成数据。由此，两个网络在对抗中进步，在进步后继续对抗，由生成式网络得的数据也就越来越完美，逼近真实数据，从而可以生成想要得到的数据（图片、序列、视频等）。总而言之，生成模型的任务是生成看起来自然真实的、和原始数据相似的实例。判别模型的任务是判断给定的实例看起来是自然真实的还是人为伪造的（真实实例来源于数据集，伪造实例来源于生成模型）。训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量辨别出G生成的假图像和真实的图像。这样，G和D构成了一个动态的“博弈过程”，最终的平衡点即纳什均衡点。

图1：GAN结构示意图

图2是模型一的生成模型的部分结构图，在输入经过之前的全连接层、归一化层、激活层和上采样层后，噪声信号进入残差网络结构，将信号分为两路，其中一路信号通过卷积层、归一化层和激活层，然后将其与另一路信号相加得到该残差结构的输出。紧接着，将得到的信号再依次经过两个这样的残差结构，最后经过上采样得到生成模型的输出。

图3 是模型一的判别模型的结构图，将输入的信号分为两路，一路信号对其进行傅里叶变换将其转换到频域，然后对其进行卷积，另一路时域信号同样进行卷积，将得到的两路信号相加得到输出x，对x进行卷积，再将其与频域信号的卷积相加得到输出。

为了使得模型的效果达到最优，我们将模型一的训练轮次设置为30000轮，其中对于1~10000轮次的学习率设置为0.008，第10000~20000轮次的学习率设置为0.001，第20000~30000轮次的学习率设置为0.0005。训练的每个轮次结束后都会保存一次模型，同时使用本地已有的数据集对该模型进行评估，将得到的分数与最高的分数进行比较。如果该模型的分数比已存的最高分数高，则将该模型标记为最优模型。

图2：模型一的生成模型的部分结构示意图

使用最终的测试数据集对模型一进行评估得到的最终成绩为0.78，位列前十名获奖队伍中的第二，其中sim=0.41679510，multi=1.83192128。sim和multi的计算公式分别如公式 (1) 所示。

其中，Nfake表示使用模型生成的信道样本，Nreal表示真实信道样本，hj和hi分别表示矢量化的第j个生成信道样本和第i个真实信道样本。对于第一个信道，Nfake=1000，Nreal=1000。对于第二个信道，Nfake=4000，Nreal=4000。multi的计算公式如公式 (2) 和公式 (3) 所示。

其中，multi 代表了生成通道的多样性，Var(.)计算输入向量的方差，输入的向量l=［l1,l2,l3...lreal］表达式如公式 (3) 所示，N(.)表示与真实样本i0最相似的假样本总数。

图3：模型一的判别模型结构示意图

模型二

GAN在第一类信道中取得了优异的成绩，但是GAN仍存在很多缺点，例如，它可解释性差，生成模型的分布没有显式的表达，比较难训练，而且生成模型与判别模型之间需要很好的同步，例如判别模型更新k次而生成模型更新一次。这些缺点在第二类信道的建模中暴露无遗，因此对于第二类信道的建模我们采取了Adversarial Autoencoders (AAE) 作为主体架构。

要了解AAE，首先要先了解自编码器的原理。自编码器是一种特殊的神经网络架构，通过无监督方式训练模型来获取输入数据在低维空间的隐式表达（隐变量）。训练时，自编码器分为编码器和解码器两部分，训练完成后仅使用编码器对数据进行编码，可作为下游任务的特征提取器。自编码器可以理解成是一个回归任务，用输入数据自己来预测自己。自编码器一般中层会比较瘦，以使神经网络来构建高效的隐变量。自编码器由三个部分构成：

• 编码器（Encoder）: 编码器由一系列逐步递减的的layers构成，最后输出一个低维的隐变量(Latent variable)。
• 隐变量（Latent variable）: 压缩输入同时又最大化保留输入信息的低维向量。
• 解码器（Decoder）： 解码器基本就是编码架构的镜像，每层layer的神经元个数逐步递增，最终输出形状和输入形状一样。

图4是AAE的结构示意图。设x是输入，z为具有深度encoder和decoder的AE的隐编码。p(z)是我们要对编码施加的先验分布， q(z|x)是encoding分布，p(x|z)是decoding分布。pd(x)是数据分布， p(x)是模型分布。AAE的encoding函数q(z|x)的编码函数定义了在AE的隐编码上， q(z)的聚合后验分布。AAE是一种自动编码器，通过匹配聚合后验q(z)到任意的先验 p(z)来实现正则化。 为了做到这一点，如图1所示，对抗网络被附加在AE的隐编码上。对抗网络用来引导q(z)匹配p(z)。同时，AE试图将重建误差最小化。对抗网络的生成器是AE的encoder q(z|x)。encoder确保聚合后验分布可以愚弄判别器，让它认为隐编码 q(z)来自真实的先验分布 p(z)。对抗网络和自动编码器都用分两个阶段SGD联合训练——每个mini-batch执行重建阶段和正规化阶段。在重建阶段，AE以最小化输入的重建误差来更新encoder和decoder。 在正规化阶段，对抗网络首先更新判别器，以从生成样本（由AE计算的隐编码）中分离出真实样本（使用先验生成的），然后对抗网络更新其生成器（它是AE的encoder），以便混淆判别器。一旦完成训练之后，AE的decoder将定义一个生成模型，将p(z)的聚合先验映射到数据分布。

相比于第一个信道，第二类信道明显更加复杂，我们发现如果对于信道二采用和信道一相同的建模方法会使得网络无法优化，所以对于信道二我们选取AAE作为主体架构，在AAE中使用残差网络结构。和模型一相似，我们同样采用了傅里叶变换来获取到信号的频域信息，在编码器中使用了类似图3的结构，这样使得网络能更加有效快速地收敛。

图4：AAE结构示意图

信道二的最终成绩为0.62，其中sim = 0.18577454，multi = 2.82118751。

致谢

两个月的比赛时间一晃而过，在此次比赛中，队伍内各成员都在积极科研和探索，大家携手并进，经历了共同进步和成长的过程，收获了友谊。

在此次比赛中，首先要感谢队伍中每个队员的辛勤付出，感谢队长唐都在过年期间一直在努力地钻研赛题，而且针对赛题提出了很多真知灼见，最终帮助本支队伍在此次比赛中获得好成绩。感谢队员吴贞在本次比赛中花费了大量时间对网络模型进行调整与优化；同时也感谢队员胡彤和尹佳鑫，两位同学负责收集和查阅相关文献，为本次比赛提供了大量的文献参考资源，为队伍的前进指明了方向。

最后，感谢主办方为我们提供了一个积极友好的相互交流平台，让各位参赛选手能够通过比赛相互竞争，相互交流，相互进步，再次感谢！

参考

[1] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[J]. Advances in neural information processing systems, 2014, 27.

[2] Nussbaumer H J. The fast Fourier transform[M]//Fast Fourier Transform and Convolution Algorithms. Springer, Berlin, Heidelberg, 1981: 80-111.

[3] He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[C]//European conference on computer vision. Springer, Cham, 2016: 630-645.

[4] Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.会议名称：ACM伍德斯托克会议

—End—