NLPCC:预训练在小米的推理优化落地

本文分享了小米AI实验室NLP团队在NLPCC轻量级语言模型比赛的经验,探讨了预训练模型的效率问题,提出了小模型和大模型优化两种解决方案。在比赛中,小模型在多个任务上与BERT效果差距不大。此外,文章还介绍了大模型推理优化,通过Tensorflow Serving Batching、FP16量化和Faster Transformer库实现了性能提升,成功减少了GPU资源的需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

本文主要分享小米AI实验室NLP团队NLPCC轻量级语言模型比赛上的经验。此次分享的目的是帮助大家快速进入比赛,以及了解工业界中使用BERT之类的大型预训练模型时进行推理的相关优化手段。

01背景介绍

首先和大家说一下比赛的背景和预训练模型中存在的问题。

1. NLP中的预训练

随着BERT的推出和发展,预训练模型成为目前工业界和比赛使用最广泛的模型。目前在各大NLP任务SOTA榜单上排前几名都是大型的预训练模型,比如原生BERT或者它的一些变体。

预训练模型的应用分为两个阶段,先进行预训练阶段 ( pre-training ),然后进行微调阶段 ( fine-tuning )。预训练阶段利用大规模的无监督预料,通常大于100g的量级,加上特定的无监督任务进行训练。用来预训练的任务有,经典的NSP ( next sentence predict )、MLM ( masked language model )、以及一些变体,如阿里发布的Structural language model。另外在预训练阶段时,embedding层的使用方式也有很多,比如NEZHA以及XLNET使用的相对位置编码。Pretrain阶段一般比较消耗计算资源,一般都是在大量的GPU集群上进行运算,并且计

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值