TBCNN

• • TBCNN – 基于树的卷积神经网络

    TBCNN: A Tree-Based Convolutional Neural Network for Programming Language Processing

    • 一种用于编程语言处理的基于树的卷积神经网络

    • Abstract:

      • 由于当前还没有将深度神经网络应用于编程语言处理, 提出TBCNN模型来对基于ASTs的编程语言进行建模, 提取丰富的信息
      • 在模型中首先通过基于ASTs的编码准则来预训练获得program vector, 然后通过树型卷积来捕捉树的一些有用特征, 并且引入了三路池化(3-way pooling)和连续二叉树(continous binary tree)来处理不同形状大小的ASTs
      • 通过与基准方法对比, 这个方法可以更好更快地完成程序分类任务, 同时预训练出来的program vector也能提高训练的速度

    • Introduction:

      • 编程语言和自然语言的区别: 程序包含丰富而明确的结构信息, 编程语言中的源代码往往遵循固定僵化的语法结构, 而且通过复杂的控制流和数据流, 批次之间的代码块之间可能存在依赖关系
      • 1. 提出“编码准则”学习ast中每个节点的向量表示，作为预训练阶段;
        2. 提出了基于树的卷积方法提取程序的局部结构特征;
        3. 引入“连续二叉树”和“三路池化”的概念，使模型适用于不同结构和大小的树;

    整体模型

    

    • Pretraining

      • 对于一个节点 $p$ 和它的所有孩子 $c_1,c_2,...,c_i$ ,用一下式子来表示 $p$ 的coded vector

        ​ $vec(p)\approx tanh({\sum }_i{l}_i{W}_{code,i}vec(c_i)+b_{code})$

      • 定义 $vec(p)$ 和 $p$ 的 coded vector 的距离的平方

        ​ $d={\left|\left|vec(p)-tanh({\sum }_i{l}_i{W}_{code,i}vec(c_i)+b_{code})\right|\right|}_2^2$

      • 同时, 通过将一个随机一个节点($p$ 或者 $p$ 的某一个孩子) 换成一个随机的symbol 来完成负采样, 把这个负样本和其coded vector之间的距离计为 $d_c$

      • 目标: $minimiz{e}_{W_{code}^l,W_{code}^r,b_{c}ode}max(d-d_c+△)$

    • Coding layer

      • 对于非叶子结点, $p=W_{comb1}vec(p)+W_{comb2}tanh({\sum }_i{l}_i{W}_{code,i}vec(x_i)+b_{code}$

    • Tree-based consolution layer

      

      用固定深度的树型卷积核划过整个树结构, 假定对应节点的向量表示是 $x_1,x_2,...x_n$, 那么这个卷积层的输出是

      $y=tanh({\sum }_n{W}_{code,i}\ast x_i+b_{code})$

      而由于孩子节点的数量不固定并且树的形状和大小不固定, 这一步需要同时用zero-paddings和连续二叉树的概念

      • 连续二叉树 continuous binary tree

        把目标子树看作是一个二叉树(无论原本是什么形状和大小), 使用三个基本的权重矩阵 $W_{conv}^{left},W_{conv}^{right},W_{conv}^{top}$.

        对于子树中的某一个节点 $x_i$, 其权重矩阵 $W_{conv}$ 是这三个基本权重矩阵的线性组合

    • Three-way pooling

      ​

      卷积层之后会得到一个形状和大小不变的新树, 因此不能直接接到hidden layer和output layer

      用三路池化讲特征池化成三个部分

    • SGDM 优化器算法

      • 向后传播算法

    • Hiden layer and output layer — softmax

      归一化 $softma{x}_i=\frac{e^i}{{\sum }_j{e}^j}$

    ​

    • 实验和实验结果
      • 向量表示成功地捕获了AST节点的有意义特征
      • 神经编程语言处理, 对程序进行分类是有效可行的