druid集群的搭建

1、 启动zookeeper

     下载zookeeper安装包，解压、安装

     bin/zkServer.sh start

2、 修改druid配置文件

（1）      conf/druid/_common/common.runtime.properties

            a、修改zookeeper列表

                 

       

b、修改数据库配置

将原有derby数据库的配置注释掉，配置mysql

‘

c、修改deep storage配置

d、修改indexing service log配置

            

（1）      将Hadoop中的core-site.xml、hdfs-site.xml、mapred-site.xml.template、yarn-env.cmd拷贝到druid/_common目录下。

基于已有Hadoop集群，配置如下。

（1）      修改 conf/druid/middleManager/runtime.properties 文件

a、修改worker数量

b、CDH版本添加 -Dhadoop.mapreduce.job.classloader=true 来解决hadoopindexer导入时jar包冲突问题

druid.indexer.runner.javaOpts=-server -Xmx2g-Duser.timezone=UTC -Dfile.encoding=UTF-8-Djava.util.logging.manager=org.apache.logging.log4j.jul.LogManager-Dhadoop.mapreduce.job.classloader=true

（1）      配置coordinator/runtime.properties文件

在文件末尾添加druid.host=Financialmap01

（1）      配置overlord/runtime.properties文件

在文件末尾添加druid.host=Financialmap01

3、开启服务

开5个窗口分别开启以下服务 historical，broker，coordinator，overload，Middlemanager

java `cat conf-quickstart/druid/historical/jvm.config |xargs` -cp"conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*"io.druid.cli.Main server historical

 

java `cat conf-quickstart/druid/broker/jvm.config | xargs`-cp "conf-quickstart/druid/_common:conf-quickstart/druid/broker:lib/*"io.druid.cli.Main server broker

 

java `cat conf-quickstart/druid/coordinator/jvm.config |xargs` -cp"conf-quickstart/druid/_common:conf-quickstart/druid/coordinator:lib/*"io.druid.cli.Main server coordinator

 

java `cat conf-quickstart/druid/overlord/jvm.config |xargs` -cp"conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*"io.druid.cli.Main server overlord

 

java `cat conf-quickstart/druid/middleManager/jvm.config |xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/middleManager:lib/*"io.druid.cli.Main server middleManager

4、测试

http://host-ip:8081/#/indexing-service

http://host-ip:8090/console.html

成功