SZU_Hadooper的博客

Bert文本分类流程化使用这章节主要介绍huggingface关于bert的流程化使用，主要针对run_glue.py文件进行讲解。这个文件中包括5个模型的使用，bert,xlnet,xlm,roberta,distilbertMODEL_CLASSES = { 'bert': (BertConfig, BertForSequenceClassification, BertToken...

本文主要是针对入门级别的Bert使用，包括英文文本分类和中文文本分类。这部分主要使用Bert进行情感分析，属于中文文本分类，同样使用BertForSequenceClassification数据集中包括三个情感分类等级[-1,0,1]流程和第一部分一致，主要修改地方是在Bert的config文件中将类别设置成3，并将数据集中的[-1,0,1]，变化成[0,1,2]的形式，bert的预训练模...

本文主要是针对入门级别的Bert使用，包括英文文本分类和中文文本分类。英文部分使用BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding中的Cola数据集，任务如下图这个数据集包括四列：[‘sentence_source’, ‘label’, ‘label_notes’, ‘sente...

F.avg_pool1d()数据是三维输入input维度： （batch_size,channels,width）channel可以看成高度kenerl维度：（一维:表示width的跨度）channel和输入的channel一致可以认为是矩阵的高度假设kernel_size=2,则每俩列相加求平均，stride默认和kernel_size保持一致，越界则丢弃（下面表示1，2列和3，4列相加求...

mul和*等价（attetion中可以用到）每行乘上不同元素>>> a = torch.ones(3,4)>>> atensor([[1., 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]])>>> b = torch.Tensor([1,2,3]).re...

在pytorch中索引支持类似numpy方式，还有一种是narrow方式。区别直接看代码：import torchdata=torch.tensor([[1,2],[3,4],[5,6]])#tensor([[1, 2], [3, 4], [5, 6]])#使用numpy方式从data中取出第二列数据In [40]: data[:,1]Out[40]:...