Solr+Hbase+Hbase Indexer查询方案流程整合

最新推荐文章于 2022-04-28 14:28:30 发布

原创

最新推荐文章于 2022-04-28 14:28:30 发布 · 6.9k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#Solr #Hbase #Hbase Indexer #Indexer #方案

概述

亿级数据多条件组合查询——秒级响应解决方案简述了Hbase+Solr的亿级数据多条件组合查询的解决方案，但是当时并未将HBaseIndexer这一组件加入进来，而是暂时采用手工的形式对Hbase和Solr的数据进行同步。本文基于该解决方案，使用HbaseIndexer的原生组件对Hbase和Solr中的数据进行增删改查的同步，简述整个Solr+Hbase+HbaseIndexer解决方案的配置过程。

注意：为避免歧义，本文使用的所有配置文件的路径均为~/solr。

Hbase部分

1. Hbase建表

首先需要对Hbase启用复制功能，修改hbase.replication参数。然后按照正常流程创建Hbase表，需要添加一条额外属性，开始Hbase的复制（REPLICATION）功能（1表示开启replication功能，0表示不开启，默认为0 ）。

表不存在：

create ‘表名’, {NAME => ‘列族名’, REPLICATION_SCOPE => 1}

表已存在：

disable ‘表名’
alter ‘表名’,{NAME => ‘列族名’, REPLICATION_SCOPE => 1}
enable ‘表名’

Solr部分

1. 创建SolrCloud

使用如下指令创建SolrCloud，生成配置文件：

solrctl --zk master:2181,slave1:2181,slave2:2181/solr instancedir \
--generate ~/solr/myConfig

其中–zk参数为zookeeper集群的结点:端口号，以逗号分隔。该指令会在~/solr/myConfig目录下生成conf文件夹，其中包含schema.xml配置文件。

2. 修改schema.xml

该文件中配置了需要索引的字段名称、类型以及其它若干属性。因此在文件中写入自己所需要索引的字段即可。示例的索引字段为objType和objId，id和uniqueKey是该配置文件原有的默认字段，对应着hbase中的rowKey，可不做修改，示例如下：

<fields>
	<field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false"/>
	<field name="_version_" type="long" indexed="true" stored="true"/>
    <field name="objType" type="string" indexed="true" stored="false" required="flase" multiValued="false" />
	<field name="objId" type=