spacy教程（持续更新ing...）

最新推荐文章于 2025-07-16 02:37:00 发布

诸神缄默不语

最新推荐文章于 2025-07-16 02:37:00 发布

阅读量1.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：人工智能学习笔记文章标签：自然语言处理人工智能 spacy

本文链接：https://blog.youkuaiyun.com/PolarisRisingWar/article/details/125045428

人工智能学习笔记专栏收录该内容

271 篇文章

订阅专栏

本文详细介绍了如何使用spacy库进行英文和中文的分词操作，包括en_core_web_sm和zh_core_web_sm模型的应用，以及如何处理停用词和进行句子划分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

诸神缄默不语-个人优快云博文目录

最近更新时间：2022.6.27
最早更新时间：2022.6.27

本文介绍spacy模型的使用方式，即spacy的API使用教程。spacy包的API基本都要靠特定模型（trained pipeline）来使用，本文主要用英文（en_core_web_sm）和中文（zh_core_web_sm）来做示例，毕竟我就只会这两种语言。
spacy模型官网：Trained Models & Pipelines · spaCy Models Documentation

1. 分词

官网示例（可以在网上直接用docker运行）：

import spacy
from spacy.lang.en.examples import sentences 

nlp = spacy.load("en_core_web_sm")
doc = nlp(sentences[0])
print(doc.text)
for token in doc:
    print(token.text, token.pos_, token.dep_)

输出：

Apple is looking at buying U.K. startup for $1 billion
Apple PROPN nsubj
is AUX aux
looking VERB ROOT
at ADP prep
buying VERB pcomp
U.K. PROPN dobj
startup NOUN advcl
for ADP prep
$ SYM quantmod
1 NUM compound
billion NUM pobj

可以看到模型将句子进行了tokenize，并给出了每个token的词性（pos_）和dependency relation（dep_）（我也不知道这是啥。介绍见：DependencyParser · spaCy API Documentation）

2. 停用词表

Defaults文档见Language · spaCy API Documentation

import spacy
sp=spacy.load('en_core_web_sm')
StopWord=sp.Defaults.stop_words

StopWord是一个由停用词（字符串格式）组成的集合。

3. 分句

Sentencizer文档见Sentencizer · spaCy API Documentation
这里的句子是那种完整的句子，以句号之类的标准作为划分标准的那种。

import spacy
from spacy.lang.zh.examples import sentences

nlp = spacy.load("zh_core_web_sm")
total_doc=''.join(sentences)
nlp.add_pipe('sentencizer', name='sentence_segmenter', before='parser')
doc = nlp(total_doc)
print(doc.text)
for token in doc:
    print(token)
    print(token.is_sent_start)
for sent in doc.sents:
    print(sent)

输出略。总之is_sent_start属性为True的token就是句子开头的token，doc.sents是句子列表的迭代器。

另外v2.0版本spacy有这种分句的写法，在v3.0（我是3.2.4）版本的spacy中无法使用，我没有试过：

from seg.newline.segmenter import NewLineSegmenter  # note that pip package is called spacyss
import spacy

nlseg = NewLineSegmenter()

nlp = spacy.load('en')
nlp.add_pipe(nlseg.set_sent_starts, name='sentence_segmenter', before='parser')

doc = nlp(my_doc_text)