NLTK中英文分词下载配置与实例学习

最新推荐文章于 2025-10-21 11:22:32 发布

原创

最新推荐文章于 2025-10-21 11:22:32 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #python #nlp #知识图谱

本文详细介绍NLTK的安装步骤及使用方法，包括分词、词性标注、实体识别等功能，并提供用户自定义分词方式的示例代码。

根据最近jieba分词的使用情况，对于英文句子的分词方式，整体感觉不如NLTK，因此通过本文具体记录NLTK如何安装，配置和基本的案例学习，实现了分词、词性标注、NER、句法分析、用户自定义分词方式等功能，供参考；同时由于nltk_data资源太大，下载速度太慢，这里也提供给大家，供研究使用。

1.安装NLTK，命令：pip install nltk

2.下载：直接从这里下载nltk_data资源，地址：https://download.youkuaiyun.com/download/hhue2007/86912857

3.解压：解压到当前文件夹后，将nltk_data拷贝到nltk能够识别到的任意一个路径下。

4.nltk能够识别的路径查找方法如下：

import nltk

print(nltk.find('.'))

5.进入nltk_data\tokenizers目录，解压punkt到当前文件夹

6.开始正常使用。NLTK的典型示例如下：

#coding:utf8
"""
Description:nltk分词操作详解
Author：hh by 2022-10-31
Prompt: code in Python3 env
Install：pip install nltk
""" 
import nltk
from nltk.tokenize import MWETokenizer
from nltk.corpus import stopwords
from nltk.tokenize.punkt import PunktSentenceTokenizer, PunktParameters
# print(nltk.find('.')) 
def cut_sentences_en(content):
    punk