大家好,今天跟大家介绍一下自然语言处理的基础的一些操作。
- Tokenize
- 词性标注
- 命名实体识别
- nltk频率统计
- 下载语料库
一、Tokenize
把句子分成有意义的小部件
import nltk
sentence = 'The imperial Palace is located in Bei Jing!'
tokens = nltk.word_tokenize(sentence)
print(tokens)
#运行结果如下:
#['The', 'imperial', 'Palace', 'is', 'located', 'in', 'Bei', 'Jing', '!']
二、词型归一化
1、词干提取
Stemming 词⼲提取:⼀般来说,就是把不影响词性的inflection的⼩尾巴砍掉如下例:
jumping 去ing = jump
maxium去ium=max
#词干提取
from nltk.stem.porter import PorterStemmer
porter_stemmer = PorterStemmer()
print(porter_stemmer.stem('running'))
print(porter_stemmer.stem('jumping'))
print(porter_stemmer.stem('walked'))
print(porter_stemmer.stem('reputation'))
print(porter_stemmer.stem('maxium'))
##运行结果:
#run
#jump
#walk
#reput
#maxium
2、