python nltk —— 文本预处理

最新推荐文章于 2024-04-24 17:14:55 发布

五道口纳什

最新推荐文章于 2024-04-24 17:14:55 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： NLP

本文链接：https://blog.youkuaiyun.com/lanchunhui/article/details/53821470

NLP 专栏收录该内容

10 篇文章

订阅专栏

本文介绍使用NLTK进行文本处理的基础知识，包括语法标记、语料库操作、词干提取与词形归一化等技术，并展示了如何进行词性标注及停用词处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载：
```
import nltk
nltk.download()
```

0. 语法知识

N：名词， V：动词，ADJ：形容词，ADV：副词，
- proper noun：专有名词
- pronoun：代词，he/her/I/their
CNJ：连词，and/or/but/if/while/although
DET：determiner，限定词，the/a/some/most/every/no
EX：existential，there/there’s
MOD：情态动词，UH：Interjection，情态动词；
VD：past tense，VG：现在时，VN：完成时

1. 语料库的查看

brown：布朗语料库；
categories：分类
stents：句子

words：单词

>> from nltk.corpus import brown
# 文本类型
>> brown.categories()
['adventure', 'belles_lettres', 'editorial',
'fiction', 'government', 'hobbies', 'humor',
'learned', 'lore', 'mystery', 'news', 'religion',
'reviews', 'romance', 'science_fiction']

>> len(brown.sents())
57340
>> len(brown.words())
1161192

2. 词干提取与词形归一

词干提取（Stemming）：walking ⇒ walk；walked ⇒ walk

from nltk.stem import PorterStemmer, LancasterStemmer, SnowballStemmer
porter_stem = PorterStemmer()
porter_stem.stem('walking')

词形归一（Lemmatization）：went ⇒ go；are ⇒ be

from nltk.stem import WordNetLemmatizer
lemma = WordNetLemmatizer()
lemma.lemmatize('dogs')

注意词性的问题，不指定 POS，默认是名词

>> lemma.lemmatize('went')
'went'
>> lemma.lemmatize('went', pos='v')
'go'
>> lemma.lemmatize('are', pos='v')
'be'				# be 动词也是动词

3. pos tags 与 stopwords

pos tags

words = nltk.word_tokenize('what does the fox say')
nltk.pos_tags(words)
[('what', 'WDT'), ('does', 'VBZ'), ('the', 'DT'), ('fox', 'NNS'), ('say', 'VBP')]

stopwords

from nltk.corpus import stopwords
stopwords.words('english')

stopwords 支持的语言：

['dutch',
 'german',
 'hungarian',
 'romanian',
 'kazakh',
 'turkish',
 'russian',
 'README',
 'italian',
 'english',
 'greek',
 'norwegian',
 'portuguese',
 'finnish',
 'danish',
 'french',
 'swedish',
 'azerbaijani',
 'spanish',
 'indonesian',
 'arabic',
 'nepali']