KBZJYBFCCCC的博客

原创 Datawhale AI春训营 学习笔记

下一句预测（Next Sentence Prediction, NSP）：BERT 还训练了一个二分类任务，即判断给定的两个句子是否是连续的。例如，在句子“今天天气很好，我们决定去公园散步”中，如果“决定”被掩盖，模型需要同时考虑“今天天气很好”和“去公园散步”来预测“决定”。注意事项：备注好克隆仓库地址，用户名及密码，重新提交时，可删除codeup代码库中的文件，再进行克隆，然后提交。baseline使用方法：word2vec词向量模型处理向量，再使用贝叶斯模型训练并预测。其它方法：BERT模型。