NLTK的安装

最新推荐文章于 2024-06-04 15:21:35 发布

weixin_30466421

最新推荐文章于 2024-06-04 15:21:35 发布

阅读量146

点赞数 1

CC 4.0 BY-SA版权

文章标签：数据库 python

原文链接：http://www.cnblogs.com/always-fight/p/9779997.html

本文介绍了自然语言处理工具包NLTK的安装与基本使用方法，包括如何通过pip安装NLTK，使用sent_tokenize和word_tokenize进行句子和单词的分割，以及使用pos_tag进行词性标注。同时，针对在Linux环境下安装后遇到的错误提供了解决方案。

一、NLTK：Natural Language Toolkit（自然语言工具包）

　下载：http://www.nltk.org

pip install nltk

二、使用

import nltk
nltk.download()#下载数据

import nltk

text = 'Hello, Tom! How are you recently?'

sens = nltk.sent_tokenize(text) #对文本按照句子进行分割
sens#['Hello, Tom!', 'How are you recently?']

words = []
for sen in sens:
    words.append(nltk.word_tokenize(sen))#对句子进行分词

words#[['Hello', ',', 'Tom', '!'], ['How', 'are', 'you', 'recently', '?']]

tags = []

for tokens in words:
    tags.append(nltk.pos_tag(tokens))#对句子进行词性标注
tags#[[('Hello', 'NNP'), (',', ','), ('Tom', 'NNP'), ('!', '.')], [('How', 'WRB'), ('are', 'VBP'), ('you', 'PRP'), ('recently', 'RB'), ('?', '.')]]

三、安装成功，导入报错

　已经成功安装nltk，但是import nltk时报错：No module named '_sqlite3'

　背景：linux系统自带的python2，已经成功安装nltk，本人自己安装了python3，import nltk出错

　解决方法：sudo apt-get install sqlite*之后，重新安装python3

#step1
sudo apt-get install  sqlite*

#step2
./configure --prefix=/python3_path
make && make install

转载于:https://www.cnblogs.com/always-fight/p/9779997.html