Spark做词性标注遇到的问题及解决方法

最新推荐文章于 2022-07-13 16:32:10 发布

原创

最新推荐文章于 2022-07-13 16:32:10 发布 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

本文记录了使用Spark进行中文分词和词性标注时遇到的问题，特别是当尝试使用自定义词典创建Tokenizer时遇到的序列化问题。解决方案包括修改jieba代码以去除锁机制，或者在每个task粒度初始化tokenizer，通过将词典分发到每个worker节点，避免对带锁对象的序列化需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在用spark做中文分词、词性标注的时候遇到了一些问题，记录一下场景及解决方法。

场景是这样的，我希望用spark做词性标注，这可以用jieba分词的POSTokenizer，本来只要集群的每个节点上的pyspark包路径都安装jieba就可以了。但问题在于，我需要用自定义的词典创建Tokenizer，目的是想令Tokenizer只切出词典中有的词，其他的词都过滤。起初的方案是在client 模式的driver program代码里用本地词典路径初始化Tokenizer，然后把这个Tokenizer对象绑定到需要传递给rdd.map的函数中，代码大概是

from functools import partial
from jieba import Tokenizer

def func(text, tokenizer):
    tokenizer.cut(text)
    ...

tokenizer = Tokenizer(local_dict_path)
func_bind_tokenizer = partial(func, tokenizer=tokenizer)

rdd.map(func_bind_tokenizer)

不过这种方法是行不通的，原因是spark需要把func_bind_tokenizer这个闭包分发给各个worker，因此需要把这个闭包包括的对象都序列化。pyspark中的序列化方式是通过cPic