- 博客(3)
- 收藏
- 关注
原创 Bert预训练掩码(MLM)
如果不掩码处理,则输出-100,loss函数将不考虑未遮掩部分(else部分)output中未遮掩部分为-100,表示不参与;遮掩部分输出正确标签;随机生成0-1的随机数,这里可以看作被遮盖的概率。while遍历每个token。通过强制小于0.15进行遮盖。三种方式对应三个if情况。
2025-03-02 15:01:30
529
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人