与lucene亲密接触第一集

这两天开始研究lucene，

可怜连java都没用过的我简直是举步维艰啊，

于是还附带的小学习了一下myeclipse等玩意的配置。。今天收获颇丰，晒一下与lucene第一次亲密接触的成果。

 

上apache的官网下了一个lucene最新版，（发现居然有人人网的一个分流，不错~下载速度很快！）

然后看了半天多lucene的基础教程，大概理清楚了他的框架和工作流程。

 

lucene我们应该理解为一个搜索引擎的类库，它不是一个完整的产品/软件，而是一个开发包，可以基于它快速开发满足自己需求的搜索引擎。

其扩展度很大，完全可以根据自己的需求定制，且底层实现效率很高。是apache基金会现在维护的。

 

其功能上总体就分为两块，倒排序索引的建立 与 搜索业务处理，

倒排序及相关度概念还是用的TF/IDF，以及经典的“相关度向量余弦”概念。基本原理都很好理解。

 

接着我开始在本地部署测试例程，

 

然后照着各种网上例程自己写了一个。然后集成了一个口碑不错的IKAnalyzer的中文分词器，感觉效果不错！

入库的 中华人民共和国，我搜 “中华共和国”也能搜出来（自动分为 中华|共和国|……）

 

建立倒排序索引：

import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.Date; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.wltea.analyzer.lucene.IKAnalyzer; import org.wltea.analyzer.lucene.IKQueryParser; import org.wltea.analyzer.lucene.IKSimilarity; public class Indexer { public static void main(String[] args) throws Exception { File fileDir = new File("E://lucene//docs"); /* 这里放索引文件的位置 */ Directory indexDir = FSDirectory.open(new File("E://lucene//index")); Analyzer luceneAnalyzer = new IKAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer, true,IndexWriter.MaxFieldLength.LIMITED); File[] textFiles = fileDir.listFiles(); long startTime = new Date().getTime(); //增加document到索引去 for (int i = 0; i < textFiles.length; i++) { if (textFiles[i].isFile()) { System.out.println("File " + textFiles[i].getCanonicalPath() + "正在被索引...."); String temp = FileReaderAll(textFiles[i].getCanonicalPath(), "GBK"); System.out.println(temp); Document document = new Document(); Field FieldPath = new Field("path", textFiles[i].getPath(), Field.Store.YES, Field.Index.NO); Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS); document.add(FieldPath); document.add(FieldBody); indexWriter.addDocument(document); } } //optimize()方法是对索引进行优化 indexWriter.optimize(); indexWriter.close(); //测试一下索引的时间 long endTime = new Date().getTime(); System.out .println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!" + fileDir.getPath()); } public static String FileReaderAll(String FileName, String charset) throws IOException { BufferedReader reader = new BufferedReader(new InputStreamReader( new FileInputStream(FileName), charset)); String line = new String(); String temp = new String(); while ((line = reader.readLine()) != null) { temp += line; } reader.close(); return temp; } }  

 

搜索业务：

import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.queryParser.MultiFieldQueryParser; import org.apache.lucene.queryParser.ParseException; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.BooleanClause; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.apache.lucene.store.LockObtainFailedException; import org.apache.lucene.index.CorruptIndexException; import org.apache.lucene.search.FuzzyQuery; //模糊查询 import org.apache.lucene.search.PhraseQuery;//短语查询 //中文分词库 import org.wltea.analyzer.lucene.IKAnalyzer; import org.wltea.analyzer.lucene.IKQueryParser; import org.wltea.analyzer.lucene.IKSimilarity; public class Search { /** * 查询字符串 * * @param keyword * 搜索单词 * @param indexDir * 索引文件夹 */ public static void searcher(String keyword, File indexDir) { IndexSearcher isearcher = null; Directory directory = null; try { System.out.println("现在开始搜索关键字【"+keyword+"】"); Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_CURRENT); // 创建一个查詢语法分析器 directory = FSDirectory.open(indexDir); QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, "body", analyzer); Query query = IKQueryParser.parse("body",keyword);// 获取查询对象 System.out.println("查寻表达式：" + query.toString()); isearcher = new IndexSearcher(directory, true); // 创建索引搜索器 isearcher.setSimilarity(new IKSimilarity());//在索引器中使用IKSimilarity相似度评估器 TopDocs ts = isearcher.search(query,100); int totalHits = ts.totalHits; // 获取命中数 System.out.println("命中数：" + totalHits); // 获取命中的文档信息对象 查询结果信息 。 它包括符合条件的Document的内部编号(doc)及评分(score) 。 ScoreDoc[] hits = ts.scoreDocs; //老版本中 Hits --length for (int i = 0; i < hits.length; i++) { Document hitDoc = isearcher.doc(hits[i].doc); System.out.println(hitDoc.getField("body").stringValue()); } } catch (IOException e) { e.printStackTrace(); } finally { if (isearcher != null) { try { isearcher.close(); // 关闭搜索器 } catch (IOException e) { e.printStackTrace(); } } if (directory != null) { try { directory.close(); // 关闭索引存放目录 } catch (IOException e) { e.printStackTrace(); } } } } public static void main(String[] args) { File src = new File("E://lucene//index"); File destDir = new File("E://lucene//index"); //CreateIndexerDir.index(src, destDir); Search.searcher("中华共和国", destDir); } }