2021年10月11日，货拉拉NLP工程师面试题分享

问题1：词向量平均法做分类的优劣势是什么

优势

词向量平均的方法做分类模型，主要的优势是模型简单

有参数模型，无参数模型都可以尝试使用，模型选择大

模型速度极快，训练的参数量少

在语句少的场景下，效果好

劣势

在语句长的长的场景下，效果会变的很差

语句长，分出的词多，词越多，信息量越杂，简单的做平均的话，重要的词的信息会在平均的过程中极大的被消弱，从而分类效果差

评论区回复“十大算法”，免费领取《机器学习十大算法系列》PDF，内容 10 大常用机器学习算法，包括线性回归、Logistic 回归、线性判别分析、朴素贝叶斯、KNN、随机森林等。

问题2：词向量的基础上如何做优化

映入一个新的向量，做attention，此向量专门对重要的，和标签相关的词敏感。从而通过加权平均的方式，得到的句向量只包含重要词的信息，忽略不重要的词的信息，从而加强模型的效果。

使用self-attention, 尝试对语句里词的分布做重新的调整，提高模型的学习能力

使用Transformer encoder或者bert来做学习

问题3：Bert模型和Transformer模型之间的关系

Transformer模型有encoder和decoder

Bert其实就是Transformer的en