knight的博客

这里写自定义目录标题1、SimCSE: Simple Contrastive Learning of Sentence Embeddings1、SimCSE: Simple Contrastive Learning of Sentence Embeddings论文：https://arxiv.org/pdf/2104.08821.pdfcode: https://github.com/princeton-nlp/SimCSE思想：...

一、bert论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding代码：https://github.com/google-research/bert作者：google1、贡献提出一种双向语言模型，基于该预训练模型finetune后在各下游任务取得sota效果。模型结构图如下，包括两个任务，一个是MLM(mask language model)，另一个是NSP任务(next sente