是先对搜索词进行中文分词呢？还是在搜索过程中进行中文分词？

原文发表在：http://paomadeng.javaeye.com/blog/126530

 

现在中文分词在开源界成为越来越关注的搜索技术，它成为衡量一个搜索引擎好坏的重要指标。

我对Lucene实现的中文分词技术也略有了解，也曾经实现过一个简单的中文分词方案。
现在比较流行的中文分词技术方案主要都集中在词库、正向/逆向搜索上，当然生成索引的时间效率上也是一个关键因素。
普遍的关注点还是集中在搜索过程中的索引技术。其中的技术难点：

1.词库的合理性？词之间的包容性： “中国人民解放军”应该作为几个分词？
2.同义词之间的相关性搜索？
3.同一词在谓词和名词上的不同处理？
…………

我的想法是对内容还是进行单字索引，而在搜索时，对搜索词进行分词处理，然后进行搜索？

呵呵，只是一想，不知道实现起来，性能方面是有问题？

有时间，准备测试一下