柳杰的博客

文章目录引言二、项目环境配置二、数据集介绍三、代码介绍四、测试1.代码执行流程引言  这一节学习BERT模型如何在句子分类任务上进行微调。项目代码框架如下：争取做到每一行代码都有注释！！！二、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12二、数据集介绍  该项目使用的是mrpc数据集，该数据集由微软发布，判断两个给定句子，是否具有相同的语义，属于句子对的文本二分类任务；有的句子对是同义的，表示为1

文章目录引言一、对抗训练一般原理1.对抗样本二、对抗训练的经典算法三、对抗训练代码实现1.FGM2.PGD引言  对抗训练对于NLP来说，是一种非常好的上分利器，所以，非常有必要加深对对抗训练的认识。一、对抗训练一般原理  小学语文课上，我们都学习过《矛与盾》这篇课文，从辩证唯物史观角度来看，矛与盾并没有严格意义上的谁更厉害，谁一直占优。矛盾着的双方又同一又斗争，双方力量此长彼消，不断前进，从而推动事物发展。这也就是对抗训练。1.对抗样本  两句话，只是部分英文单词发生了改变，但是在我们看来

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码执行流程2. 预测流程引言  这一节学习BERT模型如何在句子分类任务上进行微调。项目代码框架如下：争取做到每行代码有注释！！！一、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12pytorch-crf==0.7.2二、数据集介绍TrainDevTestIntent LabelsATIS4,47

文章目录引言引言  关系分类任务在信息抽取中处于核心地位。关系分类任务就是从非结构化文本中抽取出结构化知识；具体为：区分出头实体与尾实体之间的语义关系，比如：通过模型将头实体与尾实体的语义关系分类分出来。那么BERT模型如何应用在关系分类任务当中呢？关系分类模型的架构有多种选择：第一种实现方式：将BERT模型应用于句子的向量表征，不管实体位于句子当中的哪个位置，仍然将句子分词，首尾加上[CLS]与[SEP]，将[CLS]的向量表征拿出来，输入到分类器中，这个分类器输出关系预测类型上的打分。第

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码运行流程2.运行结果3.预测引言  这一节学习BERT模型如何在ner任务上进行微调。项目代码框架如下：争取做到每一行代码每一行注释！！！一、项目环境配置python>=3.6torch==1.6.0transformers==3.0.2seqeval==0.0.12pytorch-crf==0.7.2二、数据集介绍TrainDevTestSlot (NER) LabelsA

文章目录引言一、预训练语言模型1.为什么要进行预训练？引言  本节将按照思维导图逐步了解BERT语言模型（基于transformer的网络结构）。一、预训练语言模型  大规模的预训练语言模型的模型参数量呈几何倍数的增长趋势。下面我们了解BERT预训练的原理。1.为什么要进行预训练？  基于词向量的预训练方式并不是在BERT中首次出现。...

文章目录引言一、Bert模型总览二、注意力机制1.Seq2seq中的注意力操作2.注意力的一般形式（三步曲）3. transformer中的自注意力机制—Self.Attention4. transformer的多头注意力机制5. scaling6. 模型优化技巧：残差连接三、BERT其他结构特性1.BERT模型中的位置编码2. BERT中的全连接层与非线性激活函数3. 层归一化—LayerNormalization引言  本节将按照思维导图逐步了解BERT模型。  2018年谷歌在Github上开