NLP高频面试题（七）——GPT和Bert的mask有什么区别？

GPT 和 BERT 的 Mask 机制对比：核心区别与优化策略

在NLP领域，GPT 和 BERT 是最具代表性的预训练语言模型之一。它们都在训练过程中使用了 Mask 机制来引导模型学习语言表示，但具体实现方式和目标却有所不同。本文将深入探讨 GPT 和 BERT 的 Mask 方法的核心区别，并分析其优化策略。

1. BERT 的 Mask 机制：基于 MLM（Masked Language Model）

BERT（Bidirectional Encoder Representations from Transformers）采用 （Masked Language Model） 进行训练，即在输入文本中随机 Mask 掉部分 token，让模型在上下文中预测这些被 Mask 掉的 token。

BERT 的 Mask 方式具有以下特点：

• Token 级别的 Mask：BERT 会随机选择一定比例的 token 并用 [MASK] 进行替换，例如：

  “I love [MASK] dogs.”
  这里的 my 可能会被 Mask 掉，模型需要结合上下文来预测原始词。

• 基于子词（Subword）级别