Python 有很多分词库可以使用,最常用的是 jieba。可以使用 pip 安装:
pipinstall jieba
然后,可以使用如下代码来对文本进行分词:
import jiebatext = "这是一段需要分词的文本"
words = jieba.cut(text)
print(" ".join(words))
输出:
这是 一段 需要 分词 的 文本
除了 jieba,还有许多其他分词库可以使用,如 THULAC、pkuseg 等。
Python 有很多分词库可以使用,最常用的是 jieba。可以使用 pip 安装:
pipinstall jieba
然后,可以使用如下代码来对文本进行分词:
import jiebatext = "这是一段需要分词的文本"
words = jieba.cut(text)
print(" ".join(words))
输出:
这是 一段 需要 分词 的 文本
除了 jieba,还有许多其他分词库可以使用,如 THULAC、pkuseg 等。