保持学习、思考和实践

说明lucene的版本是3.0.3结构及类图文件类存储，隐藏了实现存储的细节。-Abstract Directory -Abstract FSDirectory -SimpleFSDirectory -NIOFSDirectory -MMapDirectory -RAMDirectory -FileSwitchDirectoryDirectory...

 在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。  它的命名来源于使用英文的开发者，否则让我这个习惯使用中文的人去想这个命名，我可能会用其它简单的词来代替，不会这么形象化，所以啊，语言文化的不同，可能会导致思维方式...

Similarity defines the components of Lucene scoring. Overriding computation of these components is a convenient way to alter Lucene scoring. Suggested reading: Introduction To Information...

提出问题目前在查询时，会将得分小于1的查询结果过滤掉。本文将回答如下问题：lucene的打分机制是什么？得分小于1大于1说明什么问题？能否认为得分小于1的结果是部分匹配查询条件而大于1是完全匹配？根据查询结果的得分小于1来过滤结果是否合理？会不会产生新的问题？ 数字后加上"*"对打分有何影响？ lucene的打分机制简介...

org.apache.lucene.search Class Weightjava.lang.Object org.apache.lucene.search.WeightAll Implemented Interfaces:SerializableDirect Known Subclasses:BooleanQuery.BooleanWeight, Cons...

    BooleanWeight里sumOfSquaredWeights实现  @Override public float sumOfSquaredWeights() throws IOException { float sum = 0.0f; for (int i = 0 ; i < weights.size(); ...

  下图是现在生产环境的部署图，索引文件分布在70-73服务器上，这4台服务器在一个集群里，每个节点的search service会查询该节点上的索引文件（阶段1），然后在71或者72服务器的query client service里获得汇合后的数据（阶段2）。 阶段1和阶段2都有排序，其中阶段1的排序可以基于Lucene的排序机制来完成，阶段2的排序可以通过相关排序算法完...

PrefixQuery前缀查询。如 test* 会匹配出 test/tests/tester。例如：目录（category）通常都体现一个层次结构，如/tec/it/java 或 /tec/it/db 或 /tec/it/java/jvm 等等目录，如果想要搜索某个目录（如/tec/it或者/tec/it/db），可以构造prefix query。 WildcardQuery...

搜索引擎技术之概要预览http://blog.youkuaiyun.com/v_july_v/article/details/6827391

 writer = ...; //#1PreparedStatement pstmt = conn.prepareStatement(selectSql);ResultSet rs = pstmt.executeQuery();Document doc = null;while (rs.next()) { doc = new Document(); //#2 doc.a...

 Lucene索引的过程是什么？step1 收集待索引的原文档从数据库、web等获取原文档。 step2 将原文档交给分词组件（Tokenizer）此过程叫做Tokenize，得到的结果称为Token。 会做如下几件事：1.将文档分成一个个独立的单词2.去除标点3.去除停词（stopword） step3 将得到的Token交给语言处理组件（...

1.对四大名著txt实现索引和搜索功能2.

源码中涉及以下知识点：1.java.security.MessageDigest2.org.apache.lucene.store.LockFactoryorg.apache.lucene.store.FSLockFactory见FSDirectory构造3.32bit与64bit操作系统4.sync中RandomAccessFile、FileDescriptor5.g...

store包SimpleFSDirectory

Q1:IndexWriter作用是什么？ Q2:索引过程？  

http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

注：Lucene版本为3.4 IndexReaderIndexSearcherTermQueryParserQueryTermQueryTopDocsScoreDoc 搜索的基本类：Directory IndexReader IndexSearcher 图1 搜索使用到的各个类的相互关系 QueryParserQueryPars...

 测试环境里查询条件1065800714，为什么ScoreDoc.score小于1呢？这个值是怎么算出来的？输入1065800714*，ScoreDoc.score变成了1注：在生产环境里大于1而在测试环境里却小于1，生产和测试环境唯一区别是测试环境数据量很小。ScoreDoc.score——The score of this document for the query. ...

http://wiki.apache.org/lucene-java/InformationRetrievalBooks Introduction to Information Retrieval, Manning, Raghavan & Schütze, 2007 Managing Gigabytes [KevinBurton] I can vo...

http://lucene.apache.org/core/old_versioned_docs/versions/3_4_0/scoring.html#AlgorithmIntroductionScoringFields and DocumentsScore BoostingUnderstanding t...

IndexWriter负责创建新索引或打开已有索引，以及对索引增，删，改。 Directory提供对文件的读写操作以及文件锁的管理。该类是个抽象类。 SimpleFSDirectory:基于java.io.*访问文件，不支持多线程读（同步锁，注：SimpleFSDirectory-->SimpleFSIndexInput-->readInternal(...