牵一只蜗牛去散步

分类用的是一个简单的线性层，其维度为（768, token.vocab_size），其中token.vocab_sized的大小为21128，即预测21128个词的分类分数，再与真实标签进行损失计算；利用预训练 bert 模型最后一个隐层的[cls] token的特征进行中文分类；利用 bert 模型提取特征，对最后一个隐层的第15个token特征进行分类；对训练数据的第15个词进行 mask 掉，预测第15个词；1-2--基于预训练模型实现下游任务。1-1--使用预训练模型推理。3--中文句子关系推断。

在 BERT 的MLM（Masked Language Model）预训练任务中，只有15%的词汇会被遮蔽（被替换为特殊的"[MASK]"标记）。总的来说，BERT中的双向体现在其训练过程中，通过同时考虑左右两侧上下文来学习单词表示，使得模型能够更全面地理解语言的语境。通过这种方式，BERT模型在预训练过程中通过MLM任务学习到了对上下文信息的敏感性，使得它能够更好地理解语言的语境。，然后通过反向传播和优化算法（通常是梯度下降法）来更新模型的参数，使得模型能够更好地捕捉文本中的语言表示和关系。