lucene3.5遇到的一些问题(练习)

一、(1)分页方式一:查询只需要传入每页显示多少条记录,当前是第几页就可以了。

当然是对搜索返回的结果进行分页,并不是对搜索结果的总数量进行分页,因为我们搜索的时候都是返回前n条记录。

例如indexSearcher.search(query, 100);//只返回前100条记录

刚开始用的时候返回的记录数我是用searcher.maxDocs()所有的记录数,发现返回全部记录,检索的速度很慢。后来就改为:控制返回记录的数量,如将上面的100改为pageNo*pageSize。

(2)分页方式二、

  1. TopScoreDocCollector topCollector = TopScoreDocCollector.create(   
  2.                     100false);           
  3. searcher.search(query, topCollector);   
  4. System.out.println("命中:" + topCollector.getTotalHits());   
  5.  // 查询当页的记录     
  6. ScoreDoc[] docs = topCollector.topDocs((pageNO - 1) * pageSize,   
  7.                     pageSize).scoreDocs;;  

     可以用这个方法加入排序功能。TopFieldCollector.create(sort, topCount, false, false, false, false);

但是只要加入排序,检索时间就增加几乎4倍。

 

 

二、创建索引的时候,记得设置writerConfig.setRAMBufferSizeMB(int n) ;这个方法是指,创建索引的时候内存使用达到n值的时候就将index写到磁盘上。 n的值根据自己服务器的内存大小看着办设置;在writer.addDocument()之后就不要使用writer.commit();全部addDocument()之后直接writer.close()。

 

三、我使用的庖丁分词器。注意在系统变量中配置词典的路径变量PAODING_DIC_HOME=path,path指的是词典dic放置的路径。

 

四、解析各种文档,如poi解析word抽取文本信息:在windows下支持十几M大小,在linux下能支持200多M。

lucene搜索分页过程中,可以有两种方式 一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机 还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率 而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来. 比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据. 安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取 而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询 第三种思路就变成了 我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作 同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值