发现了lucene一个bug

weixin_34130269

于 2006-12-20 13:58:00 发布

阅读量92

点赞数

文章标签： java

本文分析了Lucene 2.0.0版本中CJKAnalyzer存在的问题，特别是针对半角日文片假名（ｶﾀｶﾅ）无法正确建立索引的现象。指出在代码实现上，对于半角日文片假名的全角/半角转换逻辑存在缺陷，并给出了具体的问题代码行号及解释。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版本:lucene-2.0.0
现象:半角日文片假名（ｶﾀｶﾅ）无法正确建立索引
模块:CJKAnalyzer
问题定位:CJKTokenizer.java 148行附近
if (ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS) {
   /** convert HALFWIDTH_AND_FULLWIDTH_FORMS to BASIC_LATIN */
   int i = (int) c;
   i = i - 65248;
   c = (char) i;
}
在该行代码中，执行了全角/半角转换
判断条件为ub == Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS
转换方式为i = i - 65248;
其中，在Character.UnicodeBlock.HALFWIDTH_AND_FULLWIDTH_FORMS的定义中
全角英文/数字以及半角日文片假名均属于其中
但，实际上只有65281-65374的字符可以通过减去65248来进行转换
半角日文片假名这样做就错了
呵呵，呵呵
lucene.net是否有此问题我尚未检查