
搜索
文章平均质量分 71
搜索引擎相关的研究,包括Solr&lucene
杨步涛的博客
老杨,目前居住上海 微信:yangbt_6225080 qq:306591368 擅长云计算、分布式系统设计、docker容器化技术、海量数据的存储、搜索、数据挖掘。
展开
-
Solr高亮显示highlight的三种实现
三种实现方式(termvector---,highlight),而且是stored=true第一种是,根据查询的docidsets,获取Document,并获取需要高亮的字段的value,根据query的term和field的value做匹配算法(Highlighter)第二种是,定义termvector(占用IO),包括position和offset,和第一种的区别是效率更高,根据query t原创 2013-12-23 17:45:08 · 9827 阅读 · 0 评论 -
lucene&solr cache在sort、facet等方面的应用解析
FiledCache(对应term),对某field的cache,值为:Array[docid]=term应用场景,sort和faceting其中sort操作,需要对该字段索引,并field不可以进行分词 Solr中的cacheFilterCache fq=name:xxxx,unordered docidset 应用场景,facet query Qu原创 2013-12-23 17:17:24 · 3556 阅读 · 0 评论 -
关于SolrCloud的索引分片和查询的可增强点
Solr4.0包含了分布式的sorl解决方案solrCloud,可以做sharding切分,每个sharding中节点支持选举算法(leader,replica),在sharding里面支持query的负载均衡。在集群启动时,就需要声明当shard、collection等信息,启动过程中把集群的状态信息维护在zookeeper节点里。集群中的任何一台server都可以响应客户端的请求,包括原创 2012-12-29 13:42:24 · 11940 阅读 · 4 评论 -
solr的相关操作(addDocument,flush,commit,rollback,optimize,close)解析
在solr中通常包含以下一些操作,包括显式的和隐式的操作1、addDocument,对文档进行分析,分词处理,创建索引段segment,每当flush缓冲区中增加的文档,索引文件都会新建一个段segment。2、commit,除了向Directory对象提交索引变化,搜索器query的重新建立commit提交后,索引flush到硬盘上,并触发listener,创造新的insexSear原创 2013-06-26 15:36:09 · 7770 阅读 · 0 评论 -
solrcloud集群启动管理过程基于源码的分析
关于分布式环境下的如何Sharding分区,以及每个sharding的区间设置,sharding的拆分等在后面的章节做分析原创 2013-09-14 06:44:06 · 5839 阅读 · 0 评论 -
结合源码浅析solr facet
SearchHandler实现SolrRequestHandler,SolrCoreAware(inform接口) ---在SolrCore初始化的过程中,会依次调用SolrRequestHandler中的inform(SolrCore core)在inform的调用中,初始化SearchHandler中的components对象在处理请求,SearchHandl原创 2013-08-05 15:33:47 · 4973 阅读 · 0 评论 -
结合源码分析Solr&Lucene查询打分的工作流程
solr中的搜索打分是在QueryComponent中进行的。在prepare中根据查询的参数,QueryParser对查询语句进行分词,并生成Query对象树。 QParser parser = QParser.getParser(rb.getQueryString(), defType, req); Query q = parser.getQuery();原创 2013-08-05 15:53:28 · 5383 阅读 · 1 评论 -
solr分布式搜索源码分析
solr分布式搜索源码分析原创 2013-08-16 09:59:16 · 4012 阅读 · 0 评论 -
Solr单节点索引和NRT源码分析
Solr索引过程源码分析原创 2013-08-29 16:06:12 · 4211 阅读 · 0 评论 -
Solr分布式索引过程源码解析
Solr分布式索引过程解析单个节点的索引过程,以前写的blog http://blog.youkuaiyun.com/yangbutao/article/details/9851681 已经做了简单的分析对于分布式索引,请求处理过程最终会在节点上建立本地索引,多了请求在node间分发的过程。区别于单个节点的索引的索引处理processor Director2UpdateProcessor,分布原创 2013-09-05 19:43:23 · 3976 阅读 · 1 评论 -
solr4性能优化实践参考
solr4性能优化参考原创 2013-09-30 20:42:40 · 7741 阅读 · 0 评论