Lucene 快速入门

Lucene 简介

Lucene 是一个基于 Java 的全文信息检索工具包，它不是一个完整的搜索应用程序，而是为你的应用程序提供索引和搜索功能。

Lucene 6.0.0 demo API

要想快速入门最快的学习方法就是看官方 demo 文档。

所需要的 jar 包：

lucene-core-{version}.jar
lucene-queryparser-{version}.jar
lucene-analyzers-common-{version}.jar
lucene-demo-{version}.jar

建立索引

全文搜索之所以如此的迅速就是因为搜索是在索引库中进行，将所需搜索的内容建立索引并以文件的形式保存。

Lucene 提供了五个基本类来建立索引：

Document

Document 是用来描述文档的，一个 Document 对象由多个 Field 对象组成。

Field

Field 对象是用来描述文档的某个属性的。可以把一个 Document 对象比喻成数据库中的一条记录，Field 是这个记录的字段，例如一个 File 对象的路径和文本内容可以用两个 Field 对象分别描述。

Analyzer

分词器。在一个文档被索引之前，首先需要对文档内容进行分词处理。

IndexWriter

IndexWriter 是 Lucene 用来创建索引的一个核心类，它的作用是把一个个的 Document 对象加到索引库中来。

Directory

处理索引的存储位置。

---

样例 IndexFiles.java 对文本文档建立索引。

  public static void main(String[] args) {
    // 索引存放目录
    String indexPath = "index";

    String docsPath = "需要索引的目录";
    final Path docDir = Paths.get(docsPath);
    Date start = new Date();
    try {
      System.out.println("Indexing to directory '" + indexPath + "'...");

      Directory dir = FSDirectory.open(Paths.get(indexPath));
      Analyzer analyzer = new StandardAnalyzer();
      IndexWriterConfig iwc = new IndexWriterConfig(analyzer);
      IndexWriter writer = new IndexWriter(dir, iwc);

      indexDocs(writer, docDir);

      writer.close();

      Date end = new Date();
      System.out.println(end.getTime() - start.getTime() + " total milliseconds");

    } catch (IOException e) {
      System.out.println(" caught a " + e.getClass() +
          "\n with message: " + e.getMessage());
    }
  }
  /**
   * 对每个文件进行索引
   * @param writer 存储索引
   * @param path 需要索引的文件或目录
   * /
  static void indexDocs(final IndexWriter writer, Path path) throws IOException {
    // 如果是目录就遍历
    if (Files.isDirectory(path)) {
      Files.walkFileTree(path, new SimpleFileVisitor<Path>() {
        @Override
        public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) throws IOException {
          try {
            indexDoc(writer, file, attrs.lastModifiedTime().toMillis());
          } catch (IOException ignore) {
            // 如果文件不能读取不影响下一个文件的索引
          }
          return FileVisitResult.CONTINUE;
        }
      });
    } else {
      indexDoc(writer, path, Files.getLastModifiedTime(path).toMillis());
    }
  }
  /**
   * 设置索引内容
   */
  static void indexDoc(IndexWriter writer, Path file, long lastModified) throws IOException {
    try (InputStream stream = Files.newInputStream(file)) {
      Document doc = new Document();
      // 构造器 StringField(String name, String value, Field.Store stored)
      // StringField 索引但不分词, 也就是会把这个字符串当成一个完整的词来进行索引.
      // Field.Store 是否存储
      Field pathField = new StringField("path", file.toString(), Field.Store.YES);
      doc.add(pathField);
      // 构造器 TextField(String name, Reader reader)
      // TextField 索引分词
      doc.add(new TextField("contents", new BufferedReader(new InputStreamReader(stream, StandardCharsets.UTF_8))));
      // OpenMode.CREATE  创建新索引或覆盖已有索引
      // OpenMode.CREATE_OR_APPEND 将索引添加进已有索引, 如果不存在旧索引就创建新索引
      if (writer.getConfig().getOpenMode() == OpenMode.CREATE) {
        System.out.println("adding " + file);
        writer.addDocument(doc);
      } else {
        System.out.println("updating " + file);
        writer.updateDocument(new Term("path", file.toString()), doc);
      }
    }
  }

搜索

文本文档建立好索引后，就可以在索引上进行搜索啦。

Lucene 提供了四个基本类来进行搜索：

IndexSearch

IndexSearcher 是用来在建立好的索引上进行搜索的。它只能以只读的方式打开一个索引，所以可以有多个 IndexSearcher 的实例在一个索引上进行操作。

Query

这个类的目的是把用户输入的查询字符串封装成 Lucene 能够识别的 Query。

TopDocs

存储 IndexSearcher.search(Query,int) 返回的结果集。

ScoreDoc

将 TopDocs 数据处理成所需的 hits。

---

样例 SearchFiles.java 进行搜索

  public static void main(String[] args) throws Exception {
    // 索引目录
    String index = "index";
    // 要搜索的字段
    String field = "contents";
    String queries = null;
    String queryString = null;
    // 需要显示的结果数
    int hitsPerPage = 10;

    IndexReader reader = DirectoryReader.open(FSDirectory.open(Paths.get(index)));
    IndexSearcher searcher = new IndexSearcher(reader);
    Analyzer analyzer = new StandardAnalyzer();

    BufferedReader in = null;
    in = new BufferedReader(new InputStreamReader(System.in, StandardCharsets.UTF_8));

    QueryParser parser = new QueryParser(field, analyzer);
    while (true) {
      if (queries == null && queryString == null) {                        // prompt the user
        System.out.println("Enter query: ");
      }

      String line = queryString != null ? queryString : in.readLine();

      if (line == null || line.length() == -1) {
        break;
      }

      line = line.trim();
      if (line.length() == 0) {
        break;
      }

      Query query = parser.parse(line);
      System.out.println("Searching for: " + query.toString(field));
      TopDocs results = searcher.search(query, hitsPerPage);
      ScoreDoc[] hits = results.scoreDocs;
      int numTotalHits = results.totalHits;
      System.out.println(numTotalHits + " total matching documents");
      for(int i=0;i<hits.length;i++){
        Document doc = searcher.doc(hits[i].doc);
        System.out.println(doc.get("path"));
      }

      if (queryString != null) {
        break;
      }
    }
    reader.close();
  }

以上是对文本内容进行搜索，如果需要搜索目录，只需修改 Document 和 Field

// 构造器 TextField(String name, String value, Field.Store store) 
doc.add(new TextField("path",file.toString(),Field.Store.YES));
String field = "path";