qq_45655136的博客

SAM主要有四个主要组件，包括embedding,the self-attention,the 1D-CNN,和the classifier利用embedding来丰富数据包级输入的表示。然后，使用自注意力机制为输入的每个部分分配不同的注意力权重，以指示每个输入部分的重要性。应用1D-CNN进行进一步的特征表示。最后，在分类器中，将softmax应用于特征并输出预测的类别概率。数据包级输入选择。数据包包含足够的字段，但某些字段（例如，IP校验和，IP地址）是无用的常量或偏差，可能会误导分类。

主要贡献：（1）ByteSGAN可以充分利用少量标记流量样本和大量未标记流量样本来实现良好的性能（2）ByteSGAN不仅可以处理常规流量，也可以处理加密流量（3）ByteSGAN是轻量级分类器，只能消耗SDN-EGW较少计算资源GAN提供了一种无需大量注释的训练数据即可学习深度表示的有前途的方法。他们通过涉及一对网络的竞争过程导出反向传播信号来实现这一目标。首先，本文作者说将ByteSGAN嵌入到网关，但是文中并没有涉及到将SGAN嵌入到SDN edge网关中。

为了确保原模型的准确性，在训练过程中采用了自蒸馏方法，它可以将最深层模块的特征映射、响应和基于关系的知识转移到最浅层模块中，来提高模型的整体性能。为了训练压缩模型，我们使用知识蒸馏，它将软目标知识从预训练好的教师模型（原始模型）提取到压缩模型，以确保其性能与教师模型一样好。在本文中，原始模型首先充当教师模型，压缩后的模型充当学生模型。采用基于两步蒸馏方法的compressed模型，为了解决分类精度和模型复杂度之间的权衡问题，本文首先设计了轻量级模型，然后提出了一种新的训练过程来提高模型的分类精度。

提出一种新的轻量级实时流量分类模型。多头注意允许每个数据包在一步中与所有其他数据包交互，并且并行学习不同子空间中的不同交互，大大较少了参数的数量，缩短运行时间·模型自动提取高阶流级和包级特征。通过叠加多头注意块来探索全局水平上的高阶相互作用。此外，将1D-CNN应用于当数据包的特征提取。本文提出一种轻量级模型，主要通过thin module来提取flow level and packet level特征数据集仅包括HTTPS和VPN流量，但不涉及其他加密协议。

沐神论文精读B站地址：https://www.bilibili.com/video/BV1PL411M7eQ/?spm_id_from=333.788paper：https://arxiv.org/pdf/1810.04805.pdf&usg=ALkJrhhzxlCL6yTht2BRmH9atgvKFxHsxQBERT简化了NLP任务的训练，提升了NLP任务的性能。标体1. 标题BERT: Pre-training of Deep Bidirectional Transformers fo

Transformer开创了继MLP、CNN和RNN之后的第四大类模型摘要sequence transduction:序列转录，序列到序列的生成结论这篇文章介绍了transform模型，第一个仅仅使用注意力的序列模型。用multi-headed self-attention替换常用在encoder-decoder的结构循环层recurrent layers...

沐神论文精度：https://www.bilibili.com/video/BV1P3411y7nn/?spm_id_from=pageDriver论文地址：https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html参考代码：https://github.com/bubbliiiing/classification-pytorch/tree/main/nets1、

1、paper的贡献:训练了一个最大的神经网络，然后取得了特别好的结果实现了GPU上性能很高的一个2D的卷积网络有一些新的特性能够提升性能，降低模型的训练时间使用一些方法防止过拟合，使得模型更好模型具有5个卷积层，3个全连接层，得出深度很重要2、数据集对ImageNet中的图片没有做任何的预处理只是进行了简单的剪裁。当时计算机视觉都是将特征抽取出来，在之后的工作中基本上就是将原本的文本或者图片放进去不做任何的特征抽取，通过神经网络完成这部分工作。3、结构（1）卷积层卷积的过程高宽慢