ProDecoder

ProDecoder
ProDecoder的主要依据是，不同的n-gram在原始的报文数据中会呈现出不同的分布情况

主要分为四个步骤：

• n-gram Generation：输入是同一协议（通过flow classification将原始网络流量分为不同协议的数据流）的packet traces，通过处理将每一个报文用n-grams序列表示，如图所示：
  

• Keyword Identification：输入是上面得到的n-grams序列，输出是提取出的Keyword序列，这里的keyword都是由一个或者多个n-gram组成的。例如{MAI,AIL,IL_,L_F,_FR,FRO,ROM}可以组成关键词MAIL FROM。论文中使用的是基于LDA的关键词辨识方法。

  LDA介绍：
  LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。
  LDA是一种非监督机器学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。但是词袋方法没有考虑词与词之间的顺序，这简化了问题的复杂性，同时也为模型的改进提供了契机。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

  LDA用在这里，是将每一个报文当成一个文档，将其中的keyword当做主题，将n-gram当成词，从而进行主题也就是keywor