17、NLP深度迁移学习：BERT、ULMFiT与知识蒸馏策略

最新推荐文章于 2025-09-21 14:47:34 发布

oo7890

最新推荐文章于 2025-09-21 14:47:34 发布

阅读量51

点赞数

CC 4.0 BY-SA版权

分类专栏：迁移学习赋能NLP 文章标签： NLP 深度迁移学习 BERT

本文链接：https://blog.youkuaiyun.com/oo7890/article/details/151127112

迁移学习赋能NLP 专栏收录该内容

23 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

NLP深度迁移学习：BERT、ULMFiT与知识蒸馏策略

1. BERT与多语言BERT的深度迁移学习

在自然语言处理（NLP）中，BERT和多语言BERT（mBERT）的深度迁移学习是一项重要的技术。以特定输出为例：

[{'sequence': '[CLS] Eyi de ɔhaw kɛse baa me hɔ. [SEP]', 'score': 0.13256989419460297, 'token': 10911},
{'sequence': '[CLS] Eyi de ɔhaw kɛse baa Israel hɔ. [SEP]', 'score': 0.06816119700670242, 'token': 12991},
{'sequence': '[CLS] Eyi de ɔhaw kɛse baa ne hɔ. [SEP]', 'score': 0.06106790155172348, 'token': 10554},
{'sequence': '[CLS] Eyi de ɔhaw kɛse baa Europa hɔ. [SEP]', 'score': 0.05116277188062668, 'token': 11313},
{'sequence': '[CLS] Eyi de ɔhaw kɛse baa Eden hɔ. [SEP]', 'score': 0.033920999616384506, 'token': 35409}]

从输出结果中可以明显看到宗教偏见，“Israel”和“Eden”出现在了前五个补全结果中。不过，这些补全结果也有一定的合理性，因为它们都是名词，整体性