了解MixText模型

最新推荐文章于 2024-09-25 07:39:42 发布

IT_BD_Zhang

最新推荐文章于 2024-09-25 07:39:42 发布

阅读量1.7k

点赞数

分类专栏：软件工程应用与实践文章标签：深度学习自然语言处理 pytorch

本文链接：https://blog.youkuaiyun.com/m0_52073096/article/details/121314501

版权

软件工程应用与实践专栏收录该内容

13 篇文章

订阅专栏

MixText是一种半监督学习框架，通过Tmix处理有标签和无标签数据，采用label guessing method推测无标签数据的标签，并结合Tmix进行数据增强。此外，引入熵最小化损失提升大类别数时的性能。该方法包括神经网络前向传播、符号嵌入大小调整、模型头部修剪和head_mask应用等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021SC@SDUSC

MixText是一种半监督的框架。MixText的核心思想是使用Tmix同时在有标签和无标签数据上。

给定有限的数据集Xl={xl1,...,xln}，以及对应着的标签Yl={yl1,...,yln}，和大量的无标签的数据集Xu={xu1,...,xum}，其中yli∈{0,1}C，y是做了one-hot编码，C是y的类别数量，我们的目标利用有标签和无标签的数据训练一个分类器。

提出一个label guessing method，猜测标签的方法，在训练的时候对无标签数据进行生产标签，然后执行TMix训练，然后我们结合Tmix和额外的数据生成技术生成大量增强的数据，这是使算法效果好的一个关键步骤。最后，

引入了熵最小化损失，使得模型在无标签的数据样本上获取较高的概率，在类别数C较大时也有助于提高性能。

class MixText(nn.Module):
    def __init__(self, num_labels=2, mix_option=False):
        super(MixText, self).__init__()

        if mix_option:
            self.bert = BertModel4Mix.from_pretrained('bert-base-uncased')
        else:
            self.bert = BertModel.from_pretrained('bert-base-uncased')

        self.linear = nn.Sequential(nn.Linear(768, 128),
                                    nn.Tanh(),
                                    nn.Linear(128, num_labels))

标签猜测算法：

对于一个无标签数据x和k个数据增强的数据x，我们使用权重平均的方法，公式如下:

分母是l1范式，当T趋向于0的时候，生成的标签相当于one-hot编码

神经网络的前向传播：

    def forward(self, x, x2=None, l=None, mix_layer=1000):

        if x2 is not None:
            all_hidden, pooler = self.bert(x, x2, l, mix_layer)

            pooled_output = torch.mean(all_hidden, 1)

        else:
            all_hidden, pooler = self.bert(x)

            pooled_output = torch.mean(all_hidden, 1)

        predict = self.linear(pooled_output)

        return predict

调整符号嵌入大小

    def _resize_token_embeddings(self, new_num_tokens):
        old_embeddings = self.embeddings.word_embeddings
        new_embeddings = self._get_resized_embeddings(
            old_embeddings, new_num_tokens)
        self.embeddings.word_embeddings = new_embeddings
        return self.embeddings.word_embeddings

修剪模型头部，参见基类PreTrainedModel

    def _prune_heads(self, heads_to_prune):
        
        for layer, heads in heads_to_prune.items():
            self.encoder.layer[layer].attention.prune_heads(heads)

为每个层指定一个head_mask

head_mask = head_mask.unsqueeze(1).unsqueeze(-1).unsqueeze(-1)

输入input_id2非空，编码器输出

        if input_ids2 is not None:
            encoder_outputs = self.encoder(embedding_output, embedding_output2, l, mix_layer,
                                           extended_attention_mask, extended_attention_mask2, head_mask=head_mask)

添加hidden_states和attention

outputs = (sequence_output, pooled_output,) + encoder_outputs[1:]