NLP工具

最新推荐文章于 2025-01-03 10:14:44 发布

原创最新推荐文章于 2025-01-03 10:14:44 发布 · 839 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nlp

自然语言处理专栏收录该内容

6 篇文章

订阅专栏

这篇博客介绍了自然语言处理（NLP）中常用的三个工具——bosonnlp、word2vec和gensim。bosonnlp提供文本处理服务，word2vec用于词向量表示，而gensim是一个用于处理文本数据和构建主题模型的库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

bosonnlp

from bosonnlp import BosonNLP
import datetime
nlp=BosonNLP('BOSON_API_TOKEN')
//中文时间转换
result=nlp.convert_time("去年清明节")
//语义联想，相关词
suggest=nlp.suggest('数学',top_K=10)
//关键词提取，有权重,权重平方和为1
keywords=nlp.extract_keywords(text,top_k=2)

word2vec

//从经过分词的文件训练词向量
./word2vec -train words.txt -output vectors.bin -cbow 0 -size 100 -window 10 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1

//分析词,输入三个词
./word-analogy  vectors.bin

//将经过分词的文件转换为包含词和短语的文件
./word2phrase -train words.txt -output phrase.txt -threshold 500 -debug 2

gensim

//获取文本标签,docs.txt格式为一个文本一行，为分词后的文本，用空格分隔
from gensim.models import Doc2Vec
documents=TaggedLineDocument('docs.txt')
model=Doc2Vec(documents,size=100,window=8,min_count=5,workers=4)
model.save('docs.vector')