今天又对cnlexizer进行了一些优化,主要包括将合并词逻辑放到后续处理。使用bingzheng写的一个函数判断全半角字符。经过优化后的CNLexizer由原来的 241Kb/s 的处理速度彪升到 7.2 Mb/s 的速度!
from: http://blog.jianingy.com/2008/09/tunning-cnlexizer.html
Please leave comments to above link
本文介绍了CNLexizer的最新优化进展,通过改进合并词逻辑及采用新的全半角字符判断方法,处理速度从241Kb/s提升至7.2Mb/s。欢迎下载SVN版本体验。
今天又对cnlexizer进行了一些优化,主要包括将合并词逻辑放到后续处理。使用bingzheng写的一个函数判断全半角字符。经过优化后的CNLexizer由原来的 241Kb/s 的处理速度彪升到 7.2 Mb/s 的速度!
from: http://blog.jianingy.com/2008/09/tunning-cnlexizer.html
Please leave comments to above link
3874
635
177

被折叠的 条评论
为什么被折叠?