论文记录：A Decomposable Attention Model for Natural Language Inference

一个简洁高效的textual entailment model

特点：

1. 模型小，效果好
2. 思路清晰

方法：

1. 交叉使用attention model进行信息互嵌（AM）
2. 使用self-attention（BERT， transformer） + relative-position embedding（XLnet） 进行contextual embedding
3. 将自嵌与互嵌的vector进行concatenation，进行分类

感想：
上述技巧都是google一派的传统了，在应用到BERT or XLnet这种pre-train模型之前，已经在具体的模型工作上有了积累