土豆片开发日志-solr+mmseg4j

土豆片(http://www.tudoupian.com)开发日志-solr+mmseg4j

之前使用的是solr+paoding，后来发现庖丁的分词表面上比较容易扩展，但是实际上并不需要那么细分地去为每个细分领域建立一个词典。再发现庖丁的分词过于琐屑，在实际的生产环境中没有mmseg4j效果好。

 

solr的配置就不多说了。

 

参考：http://wiki.apache.org/solr/SolrTomcat

 

关于mmseg4j的配置还得好好说说。

网上有篇很好的文章：

http://blog.chenlb.com/2009/04/solr-chinese-segment-mmseg4j-use-demo.html

 

说得比较详细了，不过我想对它的词典补充下：

 

第一，mmseg4j 默认的zip包是不带词典的，这点用户需要注意了，词典可以拷贝src包中的data目录，而且词典的词库是可以扩展的。

在zip包中都有说明。

第二，在客户端调用分词器的时候，不需要配置词典目录，mmseg4j目前版本都是在构造函数中传递词典路径的，这点不同于庖丁分词等分词组建。

 

例外会遇到tomcat jvm内存溢出的问题：

 java.lang.OutOfMemoryError: Java heap space

按照这篇文章修改既可以解决了。

http://blog.chinaunix.net/u2/61187/showart_1929168.html