全文检索Lucence（二）——索引

    上篇博客中从要解决的数据和系统业务以及内部结构上，大致了解了下Lucence，这里重点从代码层面开始学习Lucence的核心部分——索引

    通过这张图可以对索引有个大致的了解：

1、IndexWriter——创建索引的对象：

建立索引的核心对象是IndexWriter，创建索引的实质就是：将一个文本文件转换为一个Lucence可以识别的文档格式，然后使用索引管理对象加入索引库。

<span style="font-size:18px;">//类的成员变量
	//创建索引和搜索的使用同一个分词器
	Analyzer analyzer = new  StandardAnalyzer ();
	String filePath= "D:\\Java\\JavaSource\\Lucence\\LucenceDemo\\LucenceDatasource\\IndexWriter addDocument's a javadoc.txt";
	String indexPath="D:\\Java\\JavaSource\\Lucence\\LucenceDemo\\lucenceIndex";
	
	/**
	 * 创建索引
	 * 索引设计到文件io操作，每次操作完后都需要关闭
	 * indexWriter 操作（crud）索引库
	 * @throws IOException 
	 * @throws LockObtainFailedException 
	 * @throws CorruptIndexException 
	 */
	@Test
	public void createIndex() throws Exception{
		//file---->doc
		System.out.println("文件转换成doc执行开始-------");
		Document doc = File2DocumentUtils.file2Document(filePath);
				
		System.out.println("文件转换成doc执行成功-------");
		//建立索引
		IndexWriter indexWriter = new IndexWriter(indexPath, analyzer, true, MaxFieldLength.LIMITED);
		indexWriter.addDocument(doc);
		indexWriter.close();
		
	}</span>

2、IndexSearcher——根据索引检索的对象：

根据索引检索的过程和HQL的查询很类似，也都需要将查询参数封装到查询对象（query）中，然后将查询对象传递给indexSearcher对象，按照Lucence内部的机制进行解析，可以返回检索到的数据条数，和sql这样的查询有些区别的是，这里直接查出的是文档编号，如果需要显示文档内容，需要根据文档编号，进行查询，仍然是使用indexSearcher对象。

<span style="font-size:18px;">/**
	 * 搜索
	 * IndexSearcher 在索引库中进行查询
	 */
	@Test
	public void search() throws Exception{
	
		String queryString = "adddocument";
		//1、把要搜索的文本解析为query对象
		String[] fields=  {"name","content"};
		QueryParser queryParser= new MultiFieldQueryParser(fields, analyzer);
		Query query= queryParser.parse(queryString);			
		
		Filter filter= null;	
		
		//2、进行查询		
		IndexSearcher indexSearcher= new IndexSearcher(indexPath);
		TopDocs topDocs= indexSearcher.search(query, filter, 1000);
		System.out.println("共有【"+topDocs.totalHits+"】条结果");
		//3、打印结果
		for(ScoreDoc scoreDoc: topDocs.scoreDocs){
			//文档内部编号
			int docSn  = scoreDoc.doc;
			//根据编号取出相应的文档
			Document doc=indexSearcher.doc(docSn);
			System.out.print("开始打印文件信息");
			//打印出文档信息
			File2DocumentUtils.printDocumentInfo(doc);
		}
		
	}</span>

 

说明：

为了便于复用，封装了将普通的文件转化为Lucence识别的文档格式的方法file2Document和将Lucence识别的文档内容解析成普通的文档信息的方法printDocumentInfo。通常的文档信息，包括四个字段：标题、内容、大小、路径，在建立索引和显示文档信息的时候都根据这四个字段。

<span style="font-size:18px;">/**
	 * 读取文件路径，然后将file转换成Document类型
	 * 文件： name  content  size path
	 * key  value 形式
	 * @param path
	 * @return
	 */
	public static Document file2Document(String path){
		System.out.println(path.trim());
		File file = new File(path.trim());
		System.out.println("静态方法file2Document-->文件转换成功！");
		
		Document doc = new Document();
		doc.add(new Field("name",file.getName(), Store.YES, Index.ANALYZED));
		doc.add(new Field("content",readFileContent(file), Store.YES, Index.ANALYZED));
		doc.add(new Field("size",NumberTools.longToString(file.length()), Store.YES, Index.NOT_ANALYZED));
		doc.add(new Field("path",file.getPath(), Store.YES, Index.NOT_ANALYZED));		
		
		return doc;
	}
	
	
	/**
	 * <pre>
	 * 方法1：
	 *      Field field = doc.getField("name");
			String name= field.stringValue();
			
		方法2：doc.get("name")
		</pre>	
	 * @param doc
	 */
	public static void printDocumentInfo(Document doc){
/*		Field field = doc.getField("name");
		String name= field.stringValue();*/
		System.out.println("-------------------");
		System.out.println("name-----"+doc.get("name"));
		System.out.println("content-----"+doc.get("content"));
		System.out.println("size-----"+NumberTools.stringToLong(doc.get("size")));
		System.out.println("path-----"+doc.get("path"));		
		
	}</span>

3、Directory——索引库的位置：

Directory时索引库的操作对象，可以读取磁盘目录的位置，也可以从内存中读取。因为磁盘的I/O影响性能，通常的操作办法是：启动时读取索引到内存，退出时保存到本地。

<span style="font-size:18px;">/**
	 * 根据目录创建索引
	 * @throws Exception 
	 * 
	 */
	@Test
	public void testIndexRamOrFSDir() throws Exception {
		
		Directory  dir =  FSDirectory.getDirectory(indexPath);
		//Directory dir= new  RAMDirectory();
		Document doc =File2DocumentUtils.file2Document(filePath);
		IndexWriter indexWriter= new  IndexWriter(dir, analyzer, MaxFieldLength.LIMITED);
		indexWriter.addDocument(doc);
		indexWriter.close();	
		
	}</span>

启动时读取索引到内存，退出时保存到本地：

<span style="font-size:18px;">/**
	 * 启动时读取索引到内存，退出时保存到本地
	 * @throws Exception 
	 */
	@Test
	public void testIndexUpdateAndSave() throws Exception{
		//根据路径自动创建索引库对象
		Directory fsDir= FSDirectory.getDirectory(indexPath);
		//启动时读取
		Directory ramDir =  new RAMDirectory(fsDir);
		
		//运行时操作ramDir
		IndexWriter indexWriter= new IndexWriter(ramDir, analyzer, MaxFieldLength.LIMITED);
		Document doc = File2DocumentUtils.file2Document(filePath);
		indexWriter.addDocument(doc);
		indexWriter.close();
		
		//退出时保存到本地
		//如果没有true，那么每次都会在原有的基础上增加，如果原有的是3条，那么这里通过内存中又添加了一条，之后再加上文件中的3条，那么最后将会是7条
		//IndexWriter fsIndexWriter= new IndexWriter(fsDir, analyzer, MaxFieldLength.LIMITED);
		
		//这里添加了true后，就是每次只添加内存中新增的那一条
		IndexWriter fsIndexWriter= new IndexWriter(fsDir, analyzer,true, MaxFieldLength.LIMITED);
		fsIndexWriter.addIndexesNoOptimize(new Directory[]{ramDir});
		
		//优化，类似hibernate的缓存		
		fsIndexWriter.flush();
		//fsIndexWriter.commit();
		//优化是合并文件，需要先从内存中flush掉后才能合并文件
		fsIndexWriter.optimize();		
		
		fsIndexWriter.close();
		
		
	}</span>

4、索引的优化：

优化的实质是合并小的文件，通过indexWriter对象实现，机制很类似hibernate的缓存，从内存中flush的时候会触发合并的动作。

<span style="font-size:18px;">/**
	 * 对索引库的优化
	 */
	@Test
	public void testIndexOptimize() throws Exception{
		Directory dir= FSDirectory.getDirectory(indexPath);
		IndexWriter indexWriter= new IndexWriter(dir, analyzer, MaxFieldLength.LIMITED);
		
		//合并文件优化
		indexWriter.optimize();
		
		indexWriter.close();
	}</span>

总结：

     索引是全文检索的一个核心，索引的管理，包括索引的建立和根据索引的查询。

     维护索引库的常见做法是：启动的时候从磁盘读取到内存，索引经过修改后，再退出的时候再保存到磁盘。