本文介绍了NLP的基础任务，包括分词（最大匹配法及其缺点，以及jieba等分词工具）、词性标注（分类模型与sequence labeling方法）和命名实体识别（NER的基本概念、标注方式及常见方法如HMM、CRF和BERT+LSTM+CRF）。
NLP基础任务
1. 分词
最大匹配分词法：长度优先
1. 前向最大匹配（forward-max matching）
2. 后向最大匹配（backward-max matching）
这种算法有几个缺点：
1. 词典中没有（OOV，out of vocabulary）
2. 分词出现歧义 例如：武汉市长江大桥，会把市长和长江大桥同时分出来，产生歧义
现在有很多现成的模型以及第三方包几乎可以解决这些问题：
- jieba
- LTP
- hanNLP
- snowNLP
2. 词性标注（POS Tagging）
词性标注，part of speech，即
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
