Druid 单机环境
摘要: druid 可以运行在单机环境下,也可以运行在集群环境下。简单起见,我们先从单机环境着手学习。 环境要求 java7 或者更高版本 linux, macOS或者其他unix系统(不支持windows系统) 8G内存 2核CPU 开始 下载并安装druid curl -O http://static.
环境要求
- java7 或者更高版本
- linux, macOS或者其他unix系统(不支持windows系统)
- 8G内存
- 2核CPU
开始
curl -O http://static.druid.io/artifacts/releases/druid-0.9.1.1-bin.tar.gz
tar -xzf druid-0.9.1.1-bin.tar.gz
cd druid-0.9.1.1
- LICENSE 许可证
- bin/ 可执行脚本
- conf/* 在集群环境下的配置文件
- conf-quickstart/* quickstart的配置文件
- extensions/* druid所有的扩展文件
- hadoop-dependencies/* druid的hadoop扩展文件
- lib/* druid 依赖的核心软件包
- quickstart/* quickstart的数据文件
ZK安装
curl http://www.gtlib.gatech.edu/pub/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz -o zookeeper-3.4.6.tar.gz
tar -xzf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6
cp conf/zoo_sample.cfg conf/zoo.cfg
./bin/zkServer.sh start
启动druid服务
bin/init
ava `cat conf-quickstart/druid/historical/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*" io.druid.cli.Main server historical
java `cat conf-quickstart/druid/broker/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/broker:lib/*" io.druid.cli.Main server broker
java `cat conf-quickstart/druid/coordinator/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/coordinator:lib/*" io.druid.cli.Main server coordinator
java `cat conf-quickstart/druid/overlord/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*" io.druid.cli.Main server overlord
java `cat conf-quickstart/druid/middleManager/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/middleManager:lib/*" io.druid.cli.Main server middleManager
- historical 为Historical Nodes节点进程。主要用于查询时从deepstroage 加载segments。
- broker 为Broker Nodes 节点进程。 主要为接收客户端任务,任务分发,负载,以及结果合并等。
- coordinator 为 Coordinator Nodes 节点进程。 主要负责segments的管理和分发。
overlord 为 Overload Nodes 节点进程。middleManager 为 MiddleManager Nodes 节点进程。 overload 和 middleManager是创建索引的主要服务进程, 具体会在接下来的章节中详细介绍
批量加载数据
- channel
- cityName
- comment
- countryIsoCode
- countryName
- isAnonymous
- isMinor
- isNew
- isRobot
- isUnpatrolled
- metroCode
- namespace
- page
- regionIsoCode
- regionName
- user
- count
- added
- deleted
- delta
- user_unique
curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/wikiticker-index.json localhost:8090/druid/indexer/v1/task
wikiticker-index.json 文件指明了数据文件的位置,类型,数据的schema(如度量,维度,时间,在druid中的数据源名称等)等信息, 之后我也会详细的介绍,大家也可以从官网上查
{"task":"index_hadoop_wikipedia_2013-10-09T21:30:32.802Z"}
加载流数据
curl -O http://static.druid.io/tranquility/releases/tranquility-distribution-0.8.0.tgz
tar -xzf tranquility-distribution-0.8.0.tgz
cd tranquility-distribution-0.8.0
conf-quickstart/tranquility/server.json 启动tranquility服务进程, 就可以向druid的 metrics datasource 推送实时数据。
bin/tranquility server -configFile <path_to_druid_distro>/conf-quickstart/tranquility/server.json
- count
- value_sum (derived from
valuein the input) - value_min (derived from
valuein the input) - value_max (derived from
valuein the input)
bin/generate-example-metrics | curl -XPOST -H'Content-Type: application/json' --data-binary @- http://localhost:8200/v1/post/metrics
{"result":{"received":25,"sent":25}}
Query data
Direct Druid queries 直接通过druid查询
quickstart/wikiticker-top-pages.json 是一个topN的查询实例。
curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/wikiticker-top-pages.json http://localhost:8082/druid/v2/?pretty
Visualizing data 数据可视化
SQL and other query libraries 查询组件
2172



被折叠的 条评论
为什么被折叠?



