在Linux系统中通过Zookeeper集群部署Solr集群

Linux系统搭建Solr和Redis集群详细步骤 1 搭建Solr集群(SolrCloud)1.1 Zookeeper介绍ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务、node管理等。Zookeeper实现了高性能,高可靠性,和有序的访问。高性能保... 阅读详情

接上篇博客地址:https://blog.youkuaiyun.com/SpringCYB/article/details/89951158

1.创建solr文件夹  通过unzip的方式解压tomcat和solr7.6  

2.在tomcat/webapps目录下创建solr目录,并将solr-7.2.1/server/solr-webapp/webapp/*目录下的所有内容拷贝过去。

3.将需要的jar包导入到tomcat下的solr中的WEB-INF/lib/ 目录下。

Solr-7.6.0/server/lib/ext/*  Solr-7.6.0/server/lib/ metrics开头的文件  5个

gmetric4j-1.0.7  

Solr-7.6.0/dist/solr-data......  2个

4.创建solrhome,将solr-7.6.0/server/solr/*目录下的所有内容拷贝过去。

5.apache-tomcat-8.0.0-RC1/webapps/solr/WEB-INF/web.xml文件,指定solrhome的位置,并注释security-constraint权限内容。

没有指定solrhome   将会报404错误

-注释以下代码  不注释会报403错误

 

<security-constraint>
    <web-resource-collection>
      <web-resource-name>Disable TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method>TRACE</http-method>
    </web-resource-collection>
    <auth-constraint/>
   </security-constraint>
   <security-constraint>
   <web-resource-collection>
      <web-resource-name>Enable everything but TRACE</web-resource-name>
      <url-pattern>/</url-pattern>
      <http-method-omission>TRACE</http-method-omission>
    </web-resource-collection>
   </security-constraint> 

6.先启动tomcat   访问http://ip:port/solr/index.html   不加index  404  

先开单机版,看看能不能访问到

在tomcat的bin目录下,通过chmod +x *.sh  赋权限,通过./startup.sh 命令启动tomcat,如下图

网页上访问下http://(你的ip地址):(端口号)/solr/index.html

如出现下图所示则表示成功 success

 

             -------------------------------------集群部署开始-------------------------------------

一:拷贝tomcat和solrhome

在/usr/local 路径下新建文件夹 solr-cloud。将之前solr文件夹中单机版中的tomcat,solrhome拷贝到solr-cloud文件夹中。

Tomcat *4个  solrhome*4个

如图所示

二. tomcat修改

1.端口修改

在solr-cloud文件夹中 /tomcat1/conf/server.xml   查询并修改其中的三个port:

其他的tomcat分别修改port的第二个数值为相应数值即可,

如:8180/8109/8105,8280/8209/8205,8380/8309/8305,   8480/8409/8405。。

tomcat1的server.xml配置如下图所示

 

 

tomcat2的server.xml配置如下图所示

 

其他两个以此类推进行配置

 

2. web.xml 修改

分别修改 webapps/solr/WEB-INF/web.xml文件 - 将solrhome和solr关联起来

<env-entry>

       <env-entry-name>solr/home</env-entry-name>

       <env-entry-value>/usr/java/solr-cloud/solrhome1</env-entry-value>

       <env-entry-type>java.lang.String</env-entry-type>

</env-entry>

以此类推

tomcat2 -> /usr/java/solr-cloud/solrhome2

tomcat3 -> /usr/java/solr-cloud/solrhome3

tomcat4 -> /usr/java/solr-cloud/solrhome4

如图所示

3. catalina.sh修改

通过修改这里的JAVA_OPTS将tomcat和zookeeper关联起来。

分别修改四个tomcat/bin/catalina.sh文件

加入:JAVA_OPTS="-DzkHost=(虚拟机本机ip地址):2181,(虚拟机本机ip地址):2182,(虚拟机本机ip地址):2183"     

注意:前后双引号!

粘在如下图所示的地方,四个catalina.sh都是一样的配置,我们依次把剩下的三个也配置了

三. solrhome修改

1. solrhome1下面的solr.xml文件修改

host为对应tomcat1部署的电脑ip,hostport为tomcat1修改后的端口号。

solrhome2(192.168.0.102, 8280)

solrhome3(192.168.0.102, 8380)

solrhome4(192.168.0.102, 8480)

把其他三个依次配置

2.在zookeeper1 ,2 ,3的bin目录下通过./zkServer.sh start命令启动自己的三台zookeeper

3.上传solrhome/core1/conf目录

将conf目录上传到zookeeper中,由zookeeper统一管理配置文件。只需要上传任意一个solrhome中的配置就可以了。

切换到之前solr解压的目录中:/solr-7.6.2/server/scripts/cloud-scripts

执行以下命令:

./zkcli.sh -zkhost (自己电脑ip):2181,(自己电脑ip):2182,(自己电脑ip):2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome1/configsets/sample_techproducts_configs/conf -confname myconf

可以进入zookeeper目录中验证一下是否成功。

在zookeeper1/bin目录下执行 ./zkCli.sh 命令查看zookeeper上的配置文件信息

输入Ls /

出现 configs 代表成功

四. 启动tomcat

新建一个文件,来一键启动tomcat。

vim start-tomcat.sh

/usr/local/solr-cloud/tomcat1/bin/startup.sh

/usr/local/solr-cloud/tomcat2/bin/startup.sh

/usr/local/solr-cloud/tomcat3/bin/startup.sh

/usr/local/solr-cloud/tomcat4/bin/startup.sh

通过chmod +x *sh赋权限

通过./start-tomcat.sh 启动tomcat集群

浏览器中打开:http://(自己电脑ip):8180/solr/index.html

菜单上会出现一个Cloud目录

我们创建新的Collection进行分片处理。

点击页面的Collections按钮,然后就能添加了(高版本的solr才有,低版本的需要通过地址栏传递参数去设置,比较麻烦)

用自己上传的myconf配置文件,有2片shard,每个shard有2个备份节点一主一备

 

实现分片效果如下图

分片:

http://127.0.0.1:8180/solr/admin/collections?action=CREATE&name=core2&numShards=2&replicationFactor=2

在浏览器中直接访问以上地址.

如果报 org.apache.solr.handler.dataimport.DataImportHandler 错误, 则将 solr7.6/contrib/dataimporthandler-extras/lib的jar包拷贝一份到tomcat/webapps/solr/WEB-INF/lib 中去.

刷新solr/index.html页面看看

最终效果:

你会发现,又多出一个core2, 且也是分片的. 以前只有一个主solr, 现在有两个主solr了.

集群搭建完成!

删除不用的Collection:http://127.0.0.1:8180/solr/admin/collections?action=DELETE&name=名称

如果出现403,404报错可以看下如下文章:

solr 7 整合tomcat8 出现403,404错误解决方案:https://blog.youkuaiyun.com/qq_37230967/article/details/79138421  

 

谢谢观看,如有建议,欢迎提出。一起交流!

solr7.4.0集群搭建 三、solr集群搭建 注意,在搭建solr集群前,建议最好有一个solr服务是已经搭建好的,可以简化大量重复的配置操作。 单机solr服务搭建过程参看我的这篇文章: Solr服务在Linux上的搭建详细教程 这个单机solr服务在solr集群搭建第二步和第三步里需要,搭建好一个solr服务后,就可以进行集群搭建了。 第一步:创建四个tomcat实例。每个tomcat运行在不同的端口。81... 阅读详情

相关推荐

集群搭建(zookeeper集群+solr集群)

集群搭建(zookeeper集群+solr集群)整个步骤本人亲身实践过,如果自身电脑配置高,可以尝试模拟真实服务器进行搭建;

SolrCloud 搭建之 zookeeper搭建

随着互联网技术的不断迭代更新,分布式技术也越来越重要,很多人都开启了学习模式,本文就介绍了solr搭建及使用的基础内容。zookeeper对于大多数人来说并不陌生,但是大部分人都是停留在使用阶段,今天我们就一起来搭建一个zookeeper集群1、若在同一台机器上安装zookeeper直接使用压缩包解压即可,在多台服务器上安装zookeeper集群首先要做的就是同步系统的时间,保证各台机器时间同步。选择需要下载的版本,下载完毕后tar包上传到服务器指定目录。

fuhaiqiang123的专栏 1851

ZooKeeper实例 + Solr(tomcat)集群部署

ZooKeeper实例 + Solr(tomcat)集群部署

solr集群的搭建时遇到的问题

在搭建solr集群,使用软件版本,安装jdk、安装tomcat、安装solr、安装zk apache-tomcat-8.5.55.tar.gz jdk-8u251-linux-x64.tar.gz solr-4.10.3.tgz apache-zookeeper-3.6.1-bin.tar.gz 准备搭建伪分布式 3个zk实例 4个tomcat实例 一个collection 2个分片,每个分片一主一从 遇到问题 1. 一台机器启多个zk实例zookeeper1、zookeeper2、zooke..

三血狼 834

solr在Linux下搭建集群

solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群solr在Linux下搭建集群

解决Calibre中license的错误

本次解决了Calibre在Cadence 617 virtuoso版本中运行不了的错误,在遇到问题的时候,我也跟你们一样,首先是上网查询为什么运行不了呢?明明我安装了之后里面有Calibre的,我当时也是这样的疑惑,一点Calibre运行LVS的时候,一片空白,然后就出现了license的错误,后来点点点,看看看,搜搜搜,最终解决了这个问题。虚拟机是VMware16版本,cadence617,Calibre是2015版本。旨在记录遇到的实际问题。

yytu231的博客 1万+

CentOS下用Tomcat+Zookeeper+Nginx+Solr完美搭建SolrCloud平台(四)

最近单位要用一套能支持日均几十万人访问,存储数据在超百亿条以上的全文检索系统。我们选用了企业级的开源搜索引擎 Solr ,从4.0版本起,Solr 开始支持云计算 SolrCloud。为搭建一个SolrCloud 环境,在网上找了不少资料,发现都讲得不是很全面。经过近一个星期的摸索,在此把我搭建 SolrCloud 环境的过程分享给大家。

飞天神笔的脚步 2227

STC8H DMA 串口1全双工中断方式收发通讯C语言

串口1全双工中断方式收发通讯程序。 通过PC向MCU发送数据, MCU将收到的数据自动存入DMA空间. 当DMA空间存满设置大小的内容后,通过串口1的DMA自动发送功能把存储空间的数据原样返回. 用定时器做波特率发生器,建议使用1T模式(除非低波特率用12T),并选择可被波特率整除的时钟频率,以提高精度。

czhaii的专栏 1467

搜索引擎--Solr 集群部署

莫架构经验: (1)4核8G 的机器,可以支持1000W条数据。(2)注意分片,不是越多越好,一个分片控制在100G的数据,大于100G,考虑两个分片。(3)副本(存储数据的组件),有几台机器就创建几个副本。(4)提交一定要批量提交,单个提交不可采取。 重点内容 需要三个zookeeper节点 四个solr节点。 使用伪分布式实现solr集群。需要三个zookeeper实例,4个tomc...

qq_16681279的博客 462

ROS中costmap_converter插件的配置与使用

在学习TEB算法的过程中,作者提供了一个插件用于转换代价地图,原始的代价地图是由栅格地图中单元格组成,用于表示障碍物,但单元格占用的计算资源较大,故采用插件将单元格转换成点,线,多边形表示。 插件激活 rospack plugins --attrib=plugin costmap_converter 配置cfg文件 在导航配置文件下,新建costmap_converter_params.yaml #######################################################

weixin_42621524的博客 5905

Webots+UR机械臂仿真全流程:手把手教你用Python实现Pick-and-Place轨迹规划

本文详细介绍了使用Webots和Python实现UR六自由度机械臂的Pick-and-Place轨迹规划全流程。从环境搭建、运动学正逆解计算到轨迹规划实战技巧,涵盖工业场景中的关节补偿、末端校准等实际问题解决方案,帮助开发者快速掌握机械臂精准控制技术。

weixin_29083649的博客 284

Solr 集群配置 DataImportHandler 导入

修改zk集群配置 如同前文 部署Zookeeper 加 solr-cloud 群集一 部署Zookeeper 加 solr-cloud 群集二 中 zk 统一管理集群 colelction 下所有 core 的方法,修改 一个solrhome 下的 conf 中的 下面三个文件 solrconfig.xml 1 添加 mysql-input 的 lib 引用 &lt;li...

Leon的博客 1044

鸿宇多用户商城user.php RCE漏洞复现

鸿宇多用户商城 user.php 存在任意命令执行漏洞,攻击者可通过该漏洞在服务器端任意执行代码,写入后门,获取服务器权限,进而控制整个web服务器。

0xSec 1622

详细部署solr集群

1.首先将windos环境下配置好的带有IK分词器的tomcat-solr和solrhome上传到linux上 CRT下使用ALT+P   put  -r 命令 2. 在linux下的/usr/soft目录下创建solr-cloud和solrhomes mkdir /usr/soft/solr-cloud mkdir /usr/soft/solrhomes 3.分别将上传的文件cop...

zgl1243094406的博客 1274

最新Python爬虫实战(入门爬虫篇)——案例7:电影网站电影数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例通过Python爬虫技术,成功实现了对某电影网站Top250多页电影详细信息的批量爬取与Excel保存。代码采用模块化设计,包含分页请求构造、XPath+正则提取结构化信息、Excel数据持久化保存等完整流程。通过配置User-Agent等请求头信息,有效模拟浏览器行为以绕过豆瓣基础反爬策略。整个爬虫逻辑遵循"分页遍历 → 请求页面 → 解析HTML → 提取电影信息 → 保存到Excel"的标准流程,与主流静态网站爬取范式高度一致。

努力让自己发光,对的人才能迎着光而来 11万+

深度解析:LPDDR5 Receiver 的挑战与应对

LPDDR5 的数据速率已经来到Tbit​DataRate1​≈156ps在6400Mbps时也就是说,。👉 这就是为什么成为 LPDDR5 的“标配”。

weixin_43199439的博客 211

如何在linux上搭建Solr集群

什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求。SolrCloud是基于Solr和Zookeeper的分布式搜索方案,它的主要思想是使用Zookeeper作为集群的配置信息中心。 Solr集群的系统架构 需要实现的solr集群架构 Zoo.

郭叶兵的博客 331

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Linux下部署solrCloud

1. 准备工作 这里我只是把我的师兄教我的关于Solrcloud搭建的过程,以及需要注意的地方文档化了。感谢他教会了我很多。 1.机子IP 三台安装linux系统的机子的IP地址为: 172.24.133.11 172.24.133.21 172.24.133.31 2.软件版本 使用的tomcat的版本是:apache-tomcat-8.0.26 使用...

weixin_34233679的博客 208

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

solrCloud集群搭建

solr单机版安装 1. Solr的环境 Solr是java开发。 solr的安装文件 需要安装jdk。 安装环境Linux。 需要安装Tomcat。 搭建步骤 第一步:把solr 的压缩包上传到Linux系统 第二步:解压solr。 第三步:安装Tomcat,解压缩即可。 第四步:把solr部署到Tomcat下。 第五步:解压缩war包。启动Tomcat解压。 第六步:把/root/solr-4...

DHR的博客 279

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

搭建zookeeper

本教程的这套安装是单机版的安装,所以采用伪集群的方式进行安装,如果是真正的生产环境,将伪集群的ip改下就可以了,步骤是一样的。 SolrCloud结构图如下: 需要三个zookeeper节点 四个solr节点。使用伪分布式实现solr集群。需要三个zookeeper实例,4个tomcat实例,可以在一台虚拟机上模拟。建议虚拟机1G以上内存。前台条件三个zookeeper实例。Zookeeper

青蛙的博客 250

solr配置方案

http://www.sjsjw.com/kf_cloud/article/44_5945_1823.asp CentOS下用Tomcat+Zookeeper+Nginx+Solr完美搭建SolrCloud平台(一) http://www.656463.com/article/3AzeQf.htm solrCloud 4.9 分布式集群部署及注意事项 http://blog.c...

weixin_30843605的博客 86

Linux 利用Docker部署solr集群(solrCloud)、zookeeper集群、安装中文IK切词

docker部署solr集群,zookeeper集群,中文分词IK

出门骑着猪的博客 3609

docker部署solr集群

一、准备工作 1.四台服务器:172.16.6.31、172.16.6.32、172.16.6.33、172.16.6.34 并且都按装了docker环境 2.jre1.8以上的linux版本 3.已经部署好的solr单机版:solr-tomcat 以及solr_home 二、搭建zookeeper集群 1、下载zookeeper 在三个服务器:172.16.6.31、172.16.6.32、17...

tengqingshan110的博客 1107

Solr+Zookeeper+Tomcat搭建Solr集群服务

之前一篇文章有说如何搭建Solr单机版,这一篇是搭建Solr集群 Zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 安装环境 Linux,内存要尽量大一点,否则z...

小海龟的博客 700

solr7.5+zookeeper3.5.5 搭建solr集群

一.搭建背景 由于单机版solr在负载、并发量等方面存在诸多瓶颈,在生产环境下可能因为访问量过大造成solr宕机,因此需要搭建solr集群来确保大访问量时solr正常工作。SolrCloud是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时可使用此方案。 二....

chuzao6156的博客 503
上一篇: 在Linux系统上搭建Zookeeper集群,选举机制
下一篇: 在Linux系统上搭建Redis集群,实现主从同步与哨兵机制
听风动
博客等级 码龄8年 63粉丝 90原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

听风动

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值