jieba-词性标注

ICTCLAS 汉语词性标注集

 以前使用jieba分词时,并没有注意到词性标注集到底包含哪些,刚好最近学习自然语言处理,涉及到分词以及词性标注,将ICTCLAS 词性标注集记录如下:

ICTCLAS 汉语词性标注集

代码名称帮助记忆的诠释
Ag形语素形容词性语素。形容词代码为a,语素代码g前面置以A。
a形容词取英语形容词adjective的第1个字母。
ad副形词直接作状语的形容词。形容词代码a和副词代码d并在一起。
an名形词具有名词功能的形容词。形容词代码a和名词代码n并在一起。
b区别词取汉字“别”的声母。
c连词取英语连词conjunction的第1个字母。
Dg副语素副词性语素。副词代码为d,语素代码g前面置以D。
d副词取adverb的第2个字母,因其第1个字母已用于形容词。
e叹词取英语叹词exclamation的第1个字母。
f方位词取汉字“方” 的声母。
g语素绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。
h前接成分取英语head的第1个字母。
i成语取英语成语idiom的第1个字母。
j简称略语取汉字“简”的声母。
k后接成分 
l习用语习用语尚未成为成语,有点“临时性”,取“临”的声母。
m数词取英语numeral的第3个字母,n,u已有他用。
Ng名语素名词性语素。名词代码为n,语素代码g前面置以N。
n名词取英语名词noun的第1个字母。
nr人名名词代码n和“人(ren)”的声母并在一起。
ns地名名词代码n和处所词代码s并在一起。
nt机构团体“团”的声母为t,名词代码n和t并在一起。
nz其他专名“专”的声母的第1个字母为z,名词代码n和z并在一起。
o拟声词取英语拟声词onomatopoeia的第1个字母。
p介词取英语介词prepositional的第1个字母。
q量词取英语quantity的第1个字母。
r代词取英语代词pronoun的第2个字母,因p已用于介词。
s处所词取英语space的第1个字母。
Tg时语素时间词性语素。时间词代码为t,在语素的代码g前面置以T。
t时间词取英语time的第1个字母。
u助词取英语助词auxiliary 的第2个字母,因a已用于形容词。
Vg动语素动词性语素。动词代码为v。在语素的代码g前面置以V。
v动词取英语动词verb的第一个字母。
vd副动词直接作状语的动词。动词和副词的代码并在一起。
vn名动词指具有名词功能的动词。动词和名词的代码并在一起。
w标点符号 
x非语素字非语素字只是一个符号,字母x通常用于代表未知数、符号。
y语气词取汉字“语”的声母。
z状态词取汉字“状”的声母的前一个字母。

  参考:词性标记 luw2007

分类: Python
0
0
« 上一篇: 基于MPI的并行计算—矩阵向量乘
» 下一篇: Linux 压缩和解压缩常用命令
<think>好的,我现在需要帮助用户找到关于jieba库中词性标注的使用案例。用户已经提供了之前的对话历史和一些引用内容,我需要仔细分析这些信息,并结合用户当前的问题来生成合适的回答。 首先,回顾用户的问题历史,用户之前询问了Jaccard相似度的案例,现在转向了jieba词性标注功能。根据引用内容,引用[1]、[2]、[3]、[4]都提到了jieba词性标注,特别是使用`jieba.posseg`模块进行分词和词性标注。用户现在明确请求使用案例和示例代码,因此需要提供一个清晰的示例,并解释每个步骤。 接下来,我需要确认如何正确使用jieba进行词性标注。根据引用[2]和[3],默认模式下使用`jieba.posseg.cut()`,而paddle模式需要启用`enable_paddle()`,并且参数`use_paddle=True`。同时,示例代码中展示了如何遍历分词结果,获取每个词及其词性标签。 用户可能需要基础示例和进阶用法,比如停用词过滤或特定词性提取。引用[4]中的代码展示了如何将分词结果拼接成字符串,这可能对用户有帮助。此外,引用[1]提到词性标注集采用北大计算所的标签,所以需要解释常见的标签含义,帮助用户理解输出结果。 需要注意的是,用户可能遇到的环境配置问题,比如paddle模式需要安装paddlepaddle-tiny库,因此在示例中应添加相关的安装说明和注意事项,避免用户运行时出错。 最后,生成相关问题时要围绕词性标注的应用场景、不同模式的区别、标签含义和性能优化等方面,确保覆盖用户可能感兴趣的扩展话题。</think>以下是一个完整的jieba词性标注使用案例,结合引用[1][2][3][4]的实现细节优化后的版本: ### 基础词性标注案例 ```python import jieba.posseg as pseg # 示例文本(引用[2][3]的案例扩展) text = "我爱清华大学的人工智能课程" # 默认模式分词标注 words = pseg.cut(text) # 使用jieba默认分词器[^2] # 输出结果(引用[4]格式优化) for word, flag in words: print(f"{word} [{flag}]", end=" | ") # 输出:我 [r] | 爱 [v] | 清华大学 [nt] | 的 [uj] | 人工智能 [n] | 课程 [n] | ``` ### Paddle模式案例 ```python # 需要先安装:pip install paddlepaddle-tiny jieba.enable_paddle() # 启动paddle模式(0.40+版本支持[^2]) paddle_words = pseg.cut(text, use_paddle=True) # 专名识别更准确 print("\nPaddle模式结果:") for word, flag in paddle_words: print(f"{word} [{flag}]", end=" | ") # 输出:我 [r] | 爱 [v] | 清华大学 [ORG] | 的 [u] | 人工智能 [n] | 课程 [n] | ``` ### 进阶应用:提取特定词性 ```python def extract_nouns(text): """提取名词(包含专有名词)""" words = pseg.cut(text) return [ (w.word, w.flag) for w in words if w.flag.startswith('n') ] print("\n名词提取:", extract_nouns(text)) # 输出:[('清华大学', 'nt'), ('人工智能', 'n'), ('课程', 'n')] ``` ### 关键说明(引用[1][2]) 1. **标注集差异**: - 默认模式使用24个标签(如:n=名词,v=动词) - Paddle模式增加4个专名标签:`ORG`(机构), `LOC`(地点), `TIME`, `PER`(人名)[^2] 2. **常用词性标签**: ```python # 部分北大标注集示例(完整列表见引用[5]) n 名词 v 动词 t 时间 m 数词 r 代词 a 形容词 ns 地名 nt 机构团体 ``` ### 注意事项 1. 切换模式时需先执行`jieba.enable_paddle()` 2. Paddle模式需要额外安装依赖库 3. 专名识别效果:`清华大学`在默认模式标注为nt(机构),Paddle模式标注为ORG
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值