超级会员免费看
本文介绍了自然语言处理中的词干提取和词形还原，探讨了Porter Stemmer和Lancaster Stemmer两种词干提取方法，并详细解释了词形还原的含义。同时，文章重点阐述了MaxMatch算法在中文分词中的应用，强调其在确保分词准确性中的重要性，以及如何结合Lemmatisation进行词汇匹配。
自然语言处理中一个很重要的操作就是所谓的stemming 和 lemmatization，二者非常类似。它们是词形规范化的两类重要方式，都能够达到有效归并词形的目的，二者既有联系也有区别。
1、词干提取（stemming）
定义：Stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form—generally a written word form.
解释一下，Stemming 是抽取词的词干或词根形式（不一定能够表达完整语义）。
NLTK中提供了三种最常用的词干提取器接口，即 Porter stemmer, Lancaster Stemmer 和 Snowball Stemmer。
订阅专栏 解锁全文
扫一扫
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
