Bi-Lstm+crf命名实体识别任务中crf的作用

sunshine2853

已于 2024-02-01 20:09:50 修改

阅读量420

点赞数 1

分类专栏：深度学习文章标签： lstm 人工智能 crf

于 2024-02-01 19:22:44 首次发布

本文链接：https://blog.youkuaiyun.com/sunshine2853/article/details/135980756

版权

本文介绍了一个使用百度ERNIE-1.0进行特征提取的双向LSTM-CRF模型，用于序列标注任务。模型利用LSTM捕获上下文信息，CRF层则处理标签间的依赖关系，以提高预测准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是一段使用百度ernie-1.0做特征提取的Bi-Lstm+crf的代码：

class ERNIE_LSTM_CRF(nn.Module):
    """
    ernie_lstm_crf model
    """
    def __init__(self, ernie_config, tagset_size, embedding_dim, hidden_dim, rnn_layers, dropout_ratio, dropout1, use_cuda=False):
        super(ERNIE_LSTM_CRF, self).__init__()
        self.embedding_dim = embedding_dim
        self.hidden_dim = hidden_dim
        ##加载ERNIE
        self.word_embeds = AutoModel.from_pretrained(ernie_config)
        # self.word_embeds = ErnieModel.from_pretrained(ernie_config, from_hf_hub=False)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim,
                            num_layers=rnn_layers, bidirectional=True,
                            dropout=dropout_ratio, batch_first=True)
        self.rnn_layers = rnn_layers
        self.dropout1 = nn.Dropout(p=dropout1)
        self.crf = CRF(num_tags=tagset_size, batch_first&#