干货提炼 | SIGIR 2020信息检索国际顶会美团专场 （附视频链接）

ACM SIGIR 2020是由国际计算机学会ACM主办的信息检索方向的国际顶会。会议每年召开一次，专注于信息检索领域，涉及理论基础、算法、应用和评估分析等方向。今年是第43届，于7月25日-30日举行，受疫情影响原定于西安召开的SIGIR2020转到了线上召开。

北京时间7月29日上午，美团在SIGIR2020会议中举办了自己的Workshop，同时邀请到美团AI平台的王金刚、到店广告平台技术部的胡可以及外卖技术部的胡懋地三位讲师做了精彩分享。以下系三位讲师演讲内容的总结：

  王金刚   

TALK1  MT-BERT: Best Practices of Pre-trained  Language Models at Meituan

王金刚在报告中，主要介绍美团NLP团队基于美团业务语料训练的预训练语言模型MT-BERT以及在美团业务场景中的应用。

报告首先简要回顾了以BERT为代表的预训练语言模型的发展历程。2018年底以Google BERT为代表的预训练语言模型刷新了多项NLP任务的最好水平，开创了NLP研究的新范式：即先基于大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成下游NLP任务（文本分类、序列标注、句间关系判断和机器阅读理解等）。

2019年底，Google在其官方博客上宣布基于BERT可以更好地理解用户搜索需求，改善了10%的英文搜索结果。国内外主流互联网公司也都基于各自业务场景开展预训练工作并应用到不同业务场景中。美团AI平台搜索与NLP部算法团队基于美团海量业务语料训练了MT-BERT模型，已经将MT-BERT应用到搜索意图识别、细粒度情感分析、文本分类、相关性排序等业务场景中。

MT-BERT

搜索与NLP部使用了美团内部开发的AFO框架进行MT-BERT预训练。AFO框架基于YARN实现数千张GPU卡的灵活调度，同时提供基于Horovod的分布式训练方案，以及作业弹性伸缩与容错等能力。相比于TensorFlow分布式框架，Horovod在数百张卡的规模上依然可以保证稳定的加速比，具备非常好的扩展性。

为了加快预训练速度，搜索与NLP部采用了混合精度训练方式。混合精度训练指的是FP32和FP16混合的训练方式，使用混合精度训练可以减少显存开销，加大Batchsize从而加速训练过程。开启混合精度的训练方式带来了2.2倍的训练加速。

为了强化MT-BERT在美团业务场景中的表现，MT-BERT预训练过程中也尝试融合知识图谱信息。知识图谱可以组织现实世界中的知识，描述客观概念、实体、关系。这种基于符号语义的计算模型，可以为BERT提供先验知识，使其具备一定的常识和推理能力。搜索与NLP部已经构建了大规模的餐饮娱乐知识图谱——“美团大脑”。团队通过Knowledge-aware Masking方法将“美团大脑”的实体知识融入到MT-BERT预训练中。融合业务知识的MT-BERT在通用Benchmark和业务Benchmark上相比原始BERT模型都带来显著的性能提升。

BERT在下游NLP任务上效果拔群，但由于其深层的网络结构和庞大的参数量，如果要部署上线，还面临很大挑战。为了减少模型响应时间，满足上线要求，团队主要尝试了两种轻量化方案：

• 模型裁剪，即直接裁剪BERT模型的层数，保持其他参数不变。对于短文本分类任务（如Query意图分类），直接裁剪后模型性能并没有明显的损失，但能减少不必要的参数运算，推理时间可以大幅提升。

• 模型蒸馏。在搜索场景下的Query-POI匹配任务，团队通过Pred