sol操作记录

最新推荐文章于 2025-01-16 23:43:56 发布

原创最新推荐文章于 2025-01-16 23:43:56 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

solr 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何通过Solr命令管理和操作Solr实例及集合，并详细展示了利用HBase协调器和MapReduce作业将HBase数据同步到Solr的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、solr命令

solrctl instancedir --delete baiheSearch
solrctl instancedir --create baiheSearch $HOME/solr_configs
solrctl collection --delete baiheSearch
solrctl collection --create baiheSearch -s 3

solrctl init --force
solrctl instancedir --generate $HOME/solr_configs
solrctl instancedir --create test $HOME/solr_configs
solrctl instancedir --list
solrctl collection --create test -s 3

http://web190:8983/solr/admin/collections?name=baiheSearch&action=DELETE
http://web190:8983/solr/admin/collections?action=CREATE&name=baiheSearch&numShards=3&replicationFactor=2

二、hbase协调器方式推送数据给solr

hadoop fs -rmr /user/root/bh_data_platform/env.properties
hadoop fs -put /usr/local/biworkspace/liuminjie/env.properties /user/root/bh_data_platform

hadoop fs -rmr /user/root/bh_data_platform/bhdp-base.jar
hadoop fs -put /usr/local/biworkspace/liuminjie/bhdp-base.jar /user/root/bh_data_platform

create 'kettle_bhdp_user', {NAME => 'userInfo', VERSIONS => 5}
put 'kettle_bhdp_user', '67856398', 'userInfo:city', '8611123'
truncate 'kettle_bhdp_user'

disable 'kettle_bhdp_user'
alter 'kettle_bhdp_user', METHOD => 'table_att_unset',NAME => 'coprocessor$1'
alter 'kettle_bhdp_user', METHOD => 'table_att','coprocessor'=>'hdfs:///user/root/bh_data_platform/bhdp-base.jar|com.baihe.hadoop.hbase.BhdpUserSorlIndexCoprocessor|1001'
enable 'kettle_bhdp_user'

修改后需重启hbase集群，不然有的region加载协调器会有问题

http://blog.youkuaiyun.com/yangbutao/article/details/8351317
http://blog.youkuaiyun.com/kky2010_110/article/details/12970029

三、hbase mapreduce方式推送数据给solr

hadoop jar bhdp-collection.jar com.baihe.datacenter.mrjob.solr.SolrHBaseIndexerMain \
-Dmapred.reduce.tasks=1 \
web189:2181,web191:2181,web192:2181,web198:2181,web195:2181,web116:2181,web115:2181,web114:2181,web194:2181,web197:2181,web199:2181,web196:2181,web190:2181,web188:2181/solr \
baiheSearch 67856399 67856399