spaCy预训练模型与用户自定义模型的合并问题

最新推荐文章于 2025-04-14 14:30:58 发布

Cxrlyy

最新推荐文章于 2025-04-14 14:30:58 发布

阅读量491

点赞数

分类专栏： # spaCy V3.0 自然语言处理NLP 文章标签： nlp 人工智能

本文链接：https://blog.youkuaiyun.com/u014607067/article/details/115354477

版权

本文探讨了在spaCy中尝试将预训练的中文模型与用户自定义的文本分类模型合并使用时遇到的问题。当合并后，模型的文本分类准确率下降。问题主要体现在模型在合并后无法正确输出分类概率。进一步的分析和解决方案对于理解和优化自然语言处理模型的集成至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spaCy预训练模型与用户自定义模型的合并问题

如前文《spaCy V3.0 文本分类模型训练、评估、打包及数据预处理》，训练了一个自定义文本分类模型。欲将其与spaCy的中文预训练模型合并使用，发现文本分类准确率没有了。单独使用完全没有问题。

mynlp = spacy.load('training/config/model-best')
nlp = spacy.load('zh_core_web_sm')
nlp.add_pipe('textcat', source=mynlp)

doc = nlp('循环泵投运前的检查')
print([t.text for t in doc])
print([(t.tag_, t.dep_, t.head.text) for t in doc])
print(doc.cats)

结果如下：

[循环泵, 投运, 前, 的, 检查] #分词没有问题

[(‘NN’, ‘compound:nn’, ‘投运’),
(‘NN’, ‘nmod’, ‘检查’),
(‘LC’, ‘case’, ‘投运’),
(‘DEG’, ‘case’, ‘投运’),
(‘NN’, ‘ROOT’, ‘检查’)] #词性及语义解析也正确

{‘A’: 0.09942209720611572,
‘B’: 0.11867694556713104,
‘C’: 0.1328020542860031,
‘E’: 0.041155699640512466,
‘M’: 0.14576852321624756,
‘O’: 0.1472093015909195,
‘R’: 0.26786068081855774,

最低0.47元/天解锁文章