jieba分词paddle模式性能测试

本文对比了jieba分词工具中paddle模式与默认模式的分词效果及运行速度。结果显示,在少量文本上两种模式分词效果相近,但paddle模式运行速度较慢。

在使用jieba分词时发现分词速度比较慢,由于一直默认使用的paddle模式,好奇是不是该模式拖慢了运行速度,因此想着对比一下paddle模式相比默认模式的分词和运行速度上的差异。


# 准备了100条语料
len(corpus)
Out[112]: 100
corpus[0]
Out[113]: '勒布朗承受压力远超乔丹 公牛王朝首冠曾充满争议新浪体育讯北京时间3月18日 迈克尔-乔丹是公认的篮球史上最杰出、最伟大的23号。8年前,一个仰慕他的年轻人在克利夫兰穿上了23号,他希望能够达到偶像的高度。而现在这个人已经辗转来到了迈阿密,并改穿了6号,这个人就是勒布朗-詹姆斯。詹姆斯一直是个争议很大的球星,他拥有超强的身体素质,但技术细节一直为人诟病。去年夏天,詹姆斯“叛逃”骑士,来到南佛罗里达海滩,而他的《决定》成了最声名狼藉的作秀。不过ESPN专家凯文-诺维兹撰文为詹姆斯鸣不平,他认为詹姆斯面临的环境比乔丹那时更严苛,如果他能得到总冠军,那么一切还可以重来。密歇根大学的亚戈-科拉斯教授开设了一门名为篮球文化101讲的课程,他的学生马特-戈登在Hoopism网站上发表了自己在课上学到的东西。在进行关于乔丹传奇的研究时,戈登称自己被震撼到了,因为现实和我们的感觉以及记忆之间差距如此明显。戈登最近刚刚读过萨姆-史密斯的《乔丹法则》,这本书里记载了公牛的1990-91赛季。那是公牛第一个夺冠的赛季,期间也充满了摇摆和争议,但公牛最终夺得总冠军。戈登最近同时还参加了公牛夺冠的20周年庆典,在联合中心,他看到欢呼的前公牛成员们之间和谐友爱,他们拥有热烈的集体回忆,气氛令人愉快。1990-91赛季那些丑陋的篇章、意气之争统统都消失不见了。这个场面引发了戈登的思考:如果热火赢得总冠军的话会发生什么呢?公众会因此忘记詹姆斯的“决定”时刻吗?会因此忘记掉这个赛季里发生的种种“门”吗?那些不喜欢詹姆斯的人,会因此原谅他身上的那些个性弱点吗?胜利,能够衍生出修正主义吗?他说:对于现在这些热火黑来说,如果他们赢得一个冠军,更别说不止一个冠军,现在关于哭泣门的任何胡说都不会被记得,更不用说那个臭名昭著的“决定”时刻了。如果你是人气巨星,并且赢下一个总冠军,那么其他所有都会消停下来。要看清现实最容易的办法就是看看过去。随着时间流逝,你觉得大家会记住科比-布莱恩特2007年夏天嚷嚷着让湖人交易安德鲁-拜纳姆吗?还是他强烈的竞争力以及冠军头衔?我们只记得胜者。很显然,“决定”时刻永远不会被忘记,尤其是在克利夫兰,但如果热火拿到一个总冠军,“决定”将马上变成冠军的注脚。TrueHoop网站的亨利-阿伯特指出,乔丹的故事都是由一些被选择过的新闻组成的,而詹姆斯恰恰相反,他的故事充斥着各种日常消息。他的手肘都有一个微博,YouTube上循环播放他的头条。如果赛前他说了什么轻率的话,公众马上会讨论。如果他和丹-吉尔伯特发生点什么,我们会品头论足。詹姆斯不会获得任何同情,因为他在数码时代打球,这让无法养成一个传奇,像乔丹那样纯洁。我们不再纯洁,我们的世界毫无疑问会有很多灰色地带,这并不一定是坏事。(春水方生)\n'

在这里插入图片描述

import jieba
import time

# 不使用paddle分词,设置use_paddle=False
start = time.time()
not_use_paddle = jieba.lcut(corpus
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值