最近在做
KTDictSeg 的 1.3 版本,在这个版本中做了一个用Lucene.net 搜索新闻的例子,其中生成关键词摘要用了
highlighter.net-1.4.0版本,发现中文关键词摘要生成结果总是不对,但英文的结果是对的。没办法,只得把 highlighter.net
的源码拿出来调了一遍,最终发现问题在 TokenGroup类的 IsDistinct函数上。该函数源码如下
highlighter.net-1.4.0版本,发现中文关键词摘要生成结果总是不对,但英文的结果是对的。没办法,只得把 highlighter.net
的源码拿出来调了一遍,最终发现问题在 TokenGroup类的 IsDistinct函数上。该函数源码如下

在KTDictSeg 1.3版本中,使用highlighter.net 1.4.0生成中文关键词摘要出现错误,问题定位在TokenGroup类的IsDistinct函数。原本的判断条件不适用于中文,已修正为`token.StartOffset() >= endOffset`。此Bug在highlighter.net 2.0版本已修复,但源码难以获取。若有人拥有2.0版本源码,希望能分享。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



