
solrcloud+zookeeper
飞鸟up
由于技术更新很快,所有的文章都可能随时间的推移失效,请阅读的时候参考当前技术的相应版本.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
solrcloud使用问题记录
Solr Ping query caused exception: undefined field text[java] view plaincopy"font-weight: normal;">"font-size:18px;">如果发现这个异常,修改solrconfig.xml: "/admin/ping" class="solr.Pi转载 2014-09-25 17:40:03 · 964 阅读 · 0 评论 -
Hard commits, soft commits and transaction logs(solrcloud同步)
The mantraRepeat after me “Hard commits are about durability, soft commits are about visibility“. Hard and soft commits are related concepts, but serve different purposes. Concealed in this simple转载 2015-01-06 17:06:25 · 989 阅读 · 0 评论 -
solr replication,大部分master-slave模式才能用
http://it.chinawin.net/softwaredev/article-c2bb.html 命令格式:http://[host]:[port]/solr/[core]/replication?command=[command name]1。details:显示当前实例Replication详细信息,包括:indexSize、indexPath、commits转载 2015-01-06 14:10:56 · 1252 阅读 · 0 评论 -
ZooKeeper系列之二:Zookeeper常用命令
ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务: sh bin/zkServer.sh stop4. 重启ZK服务:转载 2015-01-13 11:24:02 · 759 阅读 · 0 评论 -
SolrCloud wiki翻译(6)近实时搜索, 索引复制,灾难恢复
原文出自:http://my.oschina.net/zengjie/blog/203876SolrCloud and ReplicationSolrCloud与索引复制Replication ensures redundancy for your data, and enables you to send an update request to any node i转载 2014-12-24 10:07:13 · 1008 阅读 · 0 评论 -
solr命令
查询select?q=*:*查看状态/dataimport重建索引/dataimport?command=full-import&clean=false&offset=0&endset=1000000增量索引/dataimport?command=delta-import重新加载配置/dataimport?command=relo原创 2014-12-24 10:25:57 · 938 阅读 · 0 评论 -
solr删除全部索引数据
SOLR 删除全部索引数据: *:*原创 2014-12-25 09:38:48 · 16333 阅读 · 4 评论 -
SolrCloud分布式检索时忽略宕机的Shard
当有shard宕机时候,搜索报告异常为,“no servers hosting shard:503”解决方法是,在solrconfig中/select下添加true即可: <!-- default values for query parameters can be specified, these will be overridden by parameters i原创 2015-01-16 15:48:49 · 3440 阅读 · 0 评论 -
solr4.0+IKAnalyzer 中文搜索,无法查询到结果的解决方法-【布尔逻辑和 空格后默认加默认搜索字段】
solr4.0+IKAnalyzer 中文搜索,无法查询到结果,目前列举下面两种情况。情况1:solr4.0+IKAnalyzer安装好后,根据IKAnalyzer的安装文档在schema.xml做了配置,“随意问技术百科”已索引,但是搜索“随意问”搜索不出结果。通过在solr的管理界面进行查询,开启 debugQuery(调试模式),查询q参数输入,test:随意转载 2014-12-29 15:20:24 · 2153 阅读 · 0 评论 -
分布式助手Zookeeper
Zookeeper的Session: (1)客户端和server间采用长连接 (2)连接建立后,server产生session ID(64位)返还给客户端 (3)客户端定期发送ping包来检查和保持和server的连接 (4)一旦session结束或超时,所有ephemeral节点会被删除 (5)客户端可根据情况设置合适的session超时时间 Zookeeper的Wa转载 2014-12-30 16:19:30 · 714 阅读 · 0 评论 -
solrcloud同步策略
在上一篇中介绍了连接Zookeeper集群的方法,这一篇将围绕一个有趣的话题---来展开,这就是Replication(索引复制),关于Solr Replication的详细介绍,可以参考http://wiki.apache.org/solr/SolrReplication。 在开始这个话题之前,先从我最近在应用中引入solr的master/slave架构时,遇到的一个转载 2015-01-04 11:58:25 · 938 阅读 · 0 评论 -
清空zookeeper上的solrcloud数据
删除zookeeper集群节点的:log和data目录下的version或者version-2 等以version命名开头的文件夹。原创 2014-12-17 16:07:14 · 4680 阅读 · 0 评论 -
深入剖析SolrCloud(四)
作者:洞庭散人出处:http://phinecos.cnblogs.com/ 本博客遵从Creative Commons Attribution 3.0 License,若用于非商业目的,您可以自由转载,但请保留原作者信息和文章链接URL。转载 2014-10-22 14:05:39 · 555 阅读 · 0 评论 -
solrcloud上传collection配置
7.用solr zookeeper cli(zookeeper客户端)上传配置文件到zookeeperjava -classpath .:/home/myuser/solr-war-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost z1.com:2181,z2.com:2181,z3.com:2181 -confdir /home/原创 2014-09-24 11:06:16 · 3431 阅读 · 0 评论 -
solrcloud学习记录
1.今天看了下solrcloud提供的软提交的作用原创 2014-09-25 11:10:20 · 742 阅读 · 0 评论 -
项目引入Solr时应该考虑的一些问题
1、数据更新频率:每天数据增量有多大,随时更新还是定时更新2、数据总量:数据要保存多长时间3、一致性要求:期望多长时间内看到更新的数据,最长允许多长时间延迟4、数据特点:数据源包括哪些,平均单条记录大小5、业务特点:有哪些排序要求,检索条件6、资源复用:已有的硬件配置是怎样的,是否有升级计划转载 2014-09-25 17:09:40 · 642 阅读 · 0 评论 -
SolrCloud中的文件与Collection管理
转载请出自出处:http://eksliang.iteye.com/blog/2124078http://eksliang.iteye.com/一.内嵌启动SolrCloud时端口默认分配当 Solr 运行内嵌 zookeeper 服务时,默认使用 solr 端口+1000 作为客户端口,另外,solr 端口+1 作为 zookeeper 服务端口,solr 端口+2转载 2014-10-22 17:57:40 · 1218 阅读 · 0 评论 -
更新solrcloud+zookeeper的配置文件,要reload collection
在cichujava -classpath ./solr/WEB-INF/lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost zk1:2181,zk2:2181,zk3:2181 -confdir ./updateConf -confname myConf原创 2014-09-26 17:04:50 · 9013 阅读 · 0 评论 -
solrcloud线上创建collection,修改默认配置
线上增加collection两种方法可以实现线上增删collection,5.1、通过solr提供的http接口,在solrconfig中定义的admin便是,5.2、直接修改配置文件(比较灵活推荐)5.1 通过url 具体参照http://wiki.apache.org/solr/SolrCloud#Managing_collections_via_the_Collect原创 2014-09-24 17:07:42 · 8032 阅读 · 1 评论 -
zookeeper集群安装的奇怪现象
zookeeper:配置的集群信息是domain:端口2888:端口3888; domain为内网静态ip;me原创 2014-10-15 12:54:00 · 3217 阅读 · 0 评论 -
Solr源码掘金之 SolrCloud中的zookeeper使用分析
本文链接: http://quentinXXZ.iteye.com/blog/2149891上一周,对公司搜索引擎工作流程的做改造工作。涉及到不同角色服务器之间的沟通工作。我们试图应用zookeeper到我们的场景,实现应用模块之间的解耦。本文深入到solr源码,从中掘金,看看solr是如何使用zookeeper的。在做本次改造的时候,公司同事对于zookeeper的使用,提供了很好的建议转载 2014-11-19 12:51:46 · 1347 阅读 · 0 评论 -
solrCloud选举leader的逻辑分析
First call *setup(ElectionContext) to ensure the election process is in it'd. Next calljoinElection(ElectionContext) to start the leader election. The implementation follows the clas转载 2014-10-22 11:04:26 · 1051 阅读 · 0 评论 -
分布式全文检索系统SolrCloud简介
前言本文简单描述SolrCloud的特性,基本结构和入门,基于Solr4.5版本。Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库。Solr是以Lucene为基础实现的文本检索应用服务。SolrCloud是Solr4.0版本开发出的具有开创意义的基于Solr和Zookeeper的分布式搜索方案,或者可以说,SolrCloud是Solr的一种部署方式。Sol转载 2014-10-22 11:02:30 · 740 阅读 · 0 评论 -
深入剖析SolrCloud(二)
作者:洞庭散人出处:http://phinecos.cnblogs.com/ 本博客遵从Creative Commons Attribution 3.0 License,若用于非商业目的,您可以自由转载,但请保留原作者信息和文章链接URL。上一篇介绍了SolrCloud的基本概念,从这一篇开始我将深入到其实现代码中进行剖析。SolrCloud最重要的一点就是引入了转载 2014-10-22 13:59:16 · 527 阅读 · 0 评论 -
深入剖析SolrCloud(一)
SolrCloud是基于Solr和Zookeeper的分布式搜索方案,是正在开发中的Solr4.0的核心组件之一,它的主要思想是使用Zookeeper作为集群的配置信息中心。它有几个特色功能:1)集中式的配置信息 2)自动容错 3)近实时搜索 4)查询时自动负载均衡 基本可以用上面这幅图来概述,这是一个拥有4个Solr节点的集群,索引分布在两个Shard里面,每个Shard包含两个Sol转载 2014-10-22 14:02:26 · 551 阅读 · 0 评论 -
深入剖析SolrCloud(三)
在上一篇中介绍了SolrCloud的第一个模块---构建管理solr集群状态信息的zookeeper集群。当我们在solr服务器启动时拥有了这样一个Zookeeper集群后,显然我们需要连接到Zookeeper集群的方便手段,在这一篇中我将对Zookeeper客户端相关的各个封装类进行分析。SolrZkClient类是Solr服务器用来与Zookeeper集群进行通信的接口类,它包含的主要组件转载 2014-10-22 14:02:08 · 556 阅读 · 0 评论 -
solrcloud 非leader节点同步索引的日志记录
solrcloud采用replica索引同步机制 (当有更新请求时候,zookeeper会任意选择一个节点接收请求,该节点会计算hash值,根据hash range的范围将请求转发给合适的shard中的leader节点, leader节点创建文档后,将版本号和文档发给该shard的其他replica节点)solr/pic/update?update.distrib=FROMLEADER转载 2015-01-04 16:38:41 · 1426 阅读 · 0 评论