Druid 单机环境

Druid安装(单机环境) 背景 本篇文章将简单介绍Druid在单机上的安装与安装过程中可能会遇到的问题。主要目的是供初次接触Druid的同学了解Druid所用。 准备工作 软件 Java8(8u92+) Linux或其他类Unix系统 硬件 4CPU/16GB RAM及以上 下载Druid 将Apache Druid 0.16.0-incubating下载到机器中。这里我们下载apache-druid-0.16.0... 阅读详情

Druid 单机环境

刈刀  2016-08-03 23:28:24  浏览5630  评论1

摘要: druid 可以运行在单机环境下,也可以运行在集群环境下。简单起见,我们先从单机环境着手学习。 环境要求 java7 或者更高版本 linux, macOS或者其他unix系统(不支持windows系统) 8G内存 2核CPU 开始 下载并安装druid curl -O http://static.

druid 可以运行在单机环境下,也可以运行在集群环境下。简单起见,我们先从单机环境着手学习。

环境要求

  • java7 或者更高版本
  • linux, macOS或者其他unix系统(不支持windows系统)
  • 8G内存
  • 2核CPU

开始

下载并安装druid
curl -O http://static.druid.io/artifacts/releases/druid-0.9.1.1-bin.tar.gz
tar -xzf druid-0.9.1.1-bin.tar.gz
cd druid-0.9.1.1
文件夹中有如下几个目录:
  • LICENSE      许可证
  • bin/            可执行脚本
  • conf/*      在集群环境下的配置文件
  • conf-quickstart/*        quickstart的配置文件
  • extensions/*       druid所有的扩展文件
  • hadoop-dependencies/* druid的hadoop扩展文件
  • lib/*       druid 依赖的核心软件包
  • quickstart/*     quickstart的数据文件

ZK安装

     druid的分布式协同需要依赖zookeeper,所以我们需要安装zk
curl http://www.gtlib.gatech.edu/pub/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz -o zookeeper-3.4.6.tar.gz
tar -xzf zookeeper-3.4.6.tar.gz
cd zookeeper-3.4.6
cp conf/zoo_sample.cfg conf/zoo.cfg
./bin/zkServer.sh start

启动druid服务

     启动zk后,我们就可以启动druid的服务了。 首先进入到druid0.9.1.1的根目录,执行
bin/init
     druid会自动创建一个var目录, 内含俩个目录,一个是druid, 用于存放本地环境下hadoop的临时文件,索引日志,segments文件及缓存 和 任务的临时文件。 另一个是tmp用于存放其他临时文件。
      接下来就可以在控制台启动druid服务了。 在单机情况下,我们可以在一台机器上启动所有的druid服务进程,分终端进行。 在分布式生产集群的环境下, druid的服务进程同样也可以在一起启动。
ava `cat conf-quickstart/druid/historical/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/historical:lib/*" io.druid.cli.Main server historical
java `cat conf-quickstart/druid/broker/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/broker:lib/*" io.druid.cli.Main server broker
java `cat conf-quickstart/druid/coordinator/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/coordinator:lib/*" io.druid.cli.Main server coordinator
java `cat conf-quickstart/druid/overlord/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/overlord:lib/*" io.druid.cli.Main server overlord
java `cat conf-quickstart/druid/middleManager/jvm.config | xargs` -cp "conf-quickstart/druid/_common:conf-quickstart/druid/middleManager:lib/*" io.druid.cli.Main server middleManager
     druid服务进程启动后,可以在控制台看到相应的日志信息。
     我前一篇文章中提到过druid有几种节点, 上面的启动命令,对应的就是druid的各种节点
  • historical 为Historical Nodes节点进程。主要用于查询时从deepstroage 加载segments。
  • broker 为Broker Nodes 节点进程。 主要为接收客户端任务,任务分发,负载,以及结果合并等。
  • coordinator 为 Coordinator Nodes 节点进程。   主要负责segments的管理和分发。
  • overlord 为 Overload Nodes 节点进程。 middleManager 为 MiddleManager Nodes 节点进程。   overload 和 middleManager是创建索引的主要服务进程, 具体会在接下来的章节中详细介绍
     如果想关闭服务,直接在控制台ctrl + c 就可以了。 如果你彻底清理掉之前的内容,重新开始,需要在关闭服务后,删除目录下的var 文件, 重新执行init脚本。

批量加载数据

     服务启动之后,我们就可以将数据load到druid中进行查询了。在druid0.9.1.1的安装包中,自带了2015-09-12的wikiticker数据。我们可以用此数据来作为我们druid的学习实例。
     首先我们看一下wikipedia的数据, 除了时间之外,包含的维度(dimensions)有:
  • channel
  • cityName
  • comment
  • countryIsoCode
  • countryName
  • isAnonymous
  • isMinor
  • isNew
  • isRobot
  • isUnpatrolled
  • metroCode
  • namespace
  • page
  • regionIsoCode
  • regionName
  • user
   度量(measures) 我们可以设置如下:
  • count
  • added
  • deleted
  • delta
  • user_unique
   确定了度量,维度之后,接下来我们就可以导入数据了。首先,我们需要向druid提交一个注入数据的任务,并将目录指向我们需要加载的数据文件wikiticker-2015-09-12-sampled.json
Druid是通过post请求的方式提交任务的, 上面我们也讲过,overload node 用于数据的加载,所以需要在overload节点上执行post请求, 目前单机环境,无需考虑这个。
     在druid根目录下执行
curl -X 'POST' -H 'Content-Type:application/json' -d @quickstart/wikiticker-index.json localhost:8090/druid/indexer/v1/task
其中 wikiticker-index.json 文件指明了数据文件的位置,类型,数据的schema(如度量,维度,时间,在druid中的数据源名称等)等信息, 之后我也会详细的介绍,大家也可以从官网上查
     当控制台打印如下信息后,说明任务提交成功
{"task":"index_hadoop_wikipedia_2013-10-09T21:30:32.802Z"}
     可以在overload控制台  http://localhost:8090/console.html来查看任务的运行情况, 当状态为“SUCCESS”时, 说明任务执行成功。
     当数据注入成功后,historical node会加载这些已经注入到集群的数据,方便查询,这大概需要花费1-2分钟的时间。 你可以在coordinator 控制台 http://localhost:8081/#/来查看数据的加载进度
当名为wikiticker的datasource 有个蓝色的小圈,并显示fully available时,说明数据已经可以了。可以执行查询操作了。

加载流数据

     为了实现流数据的加载,我们可以通过一个简单http api来向druid推送数据,而tranquility就是一个不错的数据生产组件
     下载并安装tranquility
curl -O http://static.druid.io/tranquility/releases/tranquility-distribution-0.8.0.tgz
tar -xzf tranquility-distribution-0.8.0.tgz
cd tranquility-distribution-0.8.0
      druid目录中自带了一个配置文件  conf-quickstart/tranquility/server.json  启动tranquility服务进程, 就可以向druid的 metrics datasource 推送实时数据。
bin/tranquility server -configFile <path_to_druid_distro>/conf-quickstart/tranquility/server.json
这一部分向大家介绍了如何通过tranquility服务来加载流数据, 其实druid还可以支持多种广泛使用的流式框架, 包括Kafka, Storm, Samza, and Spark Streaming等
       流数据加载中,维度是可变的,所以在schema定义的时候无需特别指明维度,而是将数据中任何一个字段都当做维度。而该datasource的度量则包含
  • count
  • value_sum (derived from value in the input)
  • value_min (derived from value in the input)
  • value_max (derived from value in the input)
 我们采用了一个脚本,来随机生成度量数据,导入到这个datasource中
bin/generate-example-metrics | curl -XPOST -H'Content-Type: application/json' --data-binary @- http://localhost:8200/v1/post/metrics
执行完成后会返回
{"result":{"received":25,"sent":25}}
这表明http server 从你这里接收到了25条数据,并发送了这25条数据到druid。 在你第一次运行的时候,这个过程需要花一些时间,一段数据加载成功后,就可以查询了。

Query data

     接下来就是数据查询了,我们可以采用如下几种方式来查询数据

Direct Druid queries      直接通过druid查询

     druid提供了基于json的富文本查询方式。在提供的示例中, quickstart/wikiticker-top-pages.json  是一个topN的查询实例。
curl -L -H'Content-Type: application/json' -XPOST --data-binary @quickstart/wikiticker-top-pages.json http://localhost:8082/druid/v2/?pretty

Visualizing data 数据可视化

          druid是面向用户分析应用的完美方案, 有很多开源的应用支持druid的数据可视化, 如pivot, caravel 和 metabase等

SQL and other query libraries 查询组件

          有许多查询组件供我们使用,如sql引擎, 还有其他各种语言提供的组件,如python和ruby。 具体如下:
          python:      druid-io/pydruid
          R:                    druid-io/RDruid
          JavaScript:   implydata/plywood
                                7eggs/node-druid-query
          Clojure:       y42/clj-druid
          Ruby:           ruby-druid/ruby-druid
                               redBorder/druid_config
           SQL:            Apache Calcite
                               implydata/plyql
           PHP:      pixelfederation/druid-php
本篇主要是讲了单机环境下druid的搭建以及使用, 并使用druid安装包自带的例子给大家做了展示。 下一篇我讲介绍在集群环境下Druid如何安装及使用。
                                      qrcode_for_gh_5771c4ac5408_1280.jpg
Druid学习笔记(3)Druid部署总结 介绍前面几个章节对Druid的整体架构做了简单的说明,本文主要描述如何部署Druid的环境Imply提供了一套完整的部署方式,包括依赖库,Druid,图形化的数据展示页面,SQL查询组件等。本文将基于Imply套件进行说明单机部署依赖 Java 8 or better Node.js 4.5.x or better Linux, Mac OS X, or other Unix-like OS (Wi 阅读详情

相关推荐

[Unity]-[UI]-[Image] 关于UI精灵图资源导入设置的详细解释

如果纹理存储了有特定含义的信息,并且您需要着色器中的确切值(例如,平滑度或金属度),请禁用此属性。此选项允许将纹理编码为特定格式(RGBM 或 dLDR,具体取决于平台)并通过后期处理步骤对纹理数据进行处理(推拉式扩张通道)。使用在3D模型的专业法线贴图。通用的纹理类型,一般在Material上的材质图片参数使用,比如漫反射、法线贴图这些。​​Compression​​:ASTC 6x6(移动端)或DXT5(PC)​​Compression​​:BC5(PC)或ASTC 6x6(移动端)

sky_smile_Allen的博客 2172

centos7 搭建apache druid

Apache Druid简介 Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。 Druid应用场景: 点击流分析 网络监测分析 服务指标存储 应用性能指标分析 数字广告分析 总的来说,apache druid适合于那些对实时性要求高,

congge 2955

远程桌面项目

远程桌面项目

weixin_41560737的博客 1935

druid 单机版启动

有时候,需要把druid 所有部署到一台主机上,那如何启动? cd druid安装目录,然后 ./bin/supervise -c quickstart/tutorial/conf/tutorial-cluster.conf > ./mylog.log & 这个命令的好处就是在本机上启动所有的服务。而且如果一个服务挂了,它会自动重启该服务的! 另外通过bin/service...

大树叶 技术专栏 886

Windows Server 2012 R2虚拟机安装全攻略:从镜像选择到网络配置一步到位

本文提供Windows Server 2012 R2虚拟机安装全攻略,涵盖从镜像选择到网络配置的完整流程。详细讲解在Oracle VM VirtualBox中的安装步骤、TCP/IP网络设置、系统优化及常见问题解决方案,帮助用户快速搭建可立即投入使用的服务器环境。特别适合IT初学者和系统管理员学习传统服务器应用的部署与配置。

weixin_28363123的博客 541

YOLOv8源码解析与复现:ShuffleAttention:高效的混合注意力机制 实现通道和空间混合注意力

随着深度学习在计算机视觉领域的飞速发展,卷积神经网络(CNNs)已经成为图像分类、目标检测、语义分割等任务的核心。为了进一步提升模型的性能,研究者们引入了“注意力机制”,旨在让网络能够动态地关注输入数据中最具信息量的部分。经典的注意力模块,如SE-Net(Squeeze-and-Excitation Networks)和CBAM(Convolutional Block Attention Module),通过通道注意力或结合通道与空间注意力,显著增强了模型的特征表达能力。

FJN110的博客 556

Linux下分布式项目部署环境搭建与使用(druid-1.0.25.jar)数据库连接加密

一、JDK安装   1.执行命令:cd Downloads/  2.上  传:jdk-8u111-linux-x64.tar.gz 到Downloads  3.执行命令:tar -zxvf jdk-8u111-linux-x64.tar.gz  4.执行命令:mv jdk1.8.0_111 ~/soft/jdk1.8  5.执行命令:vim ~/.bash_profile  6.在文件末尾插入如...

weixin_30768175的博客 199

js逆向第24例:FastMoss数据分析网站Fm-Sign加密字段破解

破解:FastMoss数据分析网站Fm-Sign加密字段。FastMoss主要是TikTok为主的大数据分析服务的一个网站

花臂不花Home 2155

Druid 大数据分析之快速应用(单机模式)

一、概述    本节快速安装基于单机服务器,很多配置可以默认不需要修改,数据存储在操作系统级别的磁盘。推出快速安装的目的,便于了解并指导基于Druid进行大数据分析的开发流程。本节主要讲Druid的安装、实例数据加载、查询及使用问题解决。   二、安装要求    1. Java 7 及以上    2. Linux, Mac OS X, or other Unix-like

yangyangmyself的专栏 2278

面经-2023-哲库Zeku-数字芯片设计

面经-2023-哲库Zeku-数字芯片设计

w0shishabi的博客 3908

Xilinx FPGA ICAP原语实现多重配置

众所周知,常见的FPGA通常为SRAM结构,固件程序一般存放在外置的串行Flash中,比如SPI Flash,M25P16或N25Q128等。 FPGA启动时,一般先从SPI起始地址开始加载数据到内部的SRAM,加载完成、校验通过则会直接运行。 那么有没有可能在SPI Flash中存放两个或多个FPGA固件呢?

whik1194的博客 4615

Apache Druid单机环境搭建及基本使用

Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景。

积跬步,至千里。 2523

29、网络支持技术:CDN、覆盖网络与无标度网络解析

本文详细解析了CDN路由方式与性能指标,探讨了覆盖网络与无标度网络的特性及其在云计算和现代网络中的应用。文章分析了CDN的关键技术与挑战,介绍了覆盖网络与小世界网络的基本原理,并深入讨论了无标度网络的构建算法、性能优化策略以及在多个领域的应用案例。最后,文章展望了未来网络技术发展趋势与无标度网络的结合潜力。

night的博客 94

Apache Druid 单机环境搭建

下载 http://druid.io/downloads.html 下载druid-0.10.1-bin.tar.gz. ,mysql-metadata-storage-0.10.1.tar.gz 解压 修改日志配置 /druid/druid-0.10.0/conf-quickstart/d...

极客编程的专栏 394

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Druid单机环境安装指南

1、下载单机环境必备工具 下载druid-0.10.1-bin.tar.gz和tranquility-distribution-0.8.2.tgz插件 http://druid.io/downloads.html 下载Zookeeper http://mirrors.hust.edu.cn/apache/zookeeper/ 下载Kafka http://mirrors.tuna.tsinghu...

weixin_33918114的博客 304

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Druid数据分析单机环境搭建

注意: 虚拟机虚拟内存请设置大点;注意druid安装版本,版本不同则安装问题不同; 安装示例参考:https://developer.aliyun.com/article/58780 亲测有效: 端口无法访问参考: 亲测有效: https://blog.csdn.net/ywd1992/article/details/80401630 ...

weixin_41419401的博客 500

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

druid 学习 博客

1.Druid 简介 2.Druid 基本概念 3.Druid 单机环境

whj19870406的专栏 244

【Druid】单机版Druid安装过程

记录Druid单机版安装过程,大体与官网安装过程,加入了个别与官网安装不一致的情况和解决方法 Druid运行依赖zookeeper作为分布式协调服务,下载安装zookeeper wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz tar -zvf zookeeper-3.4....

caobang3250的博客 641

centos(linux/debian)安装druid.io

今日:druid单机模式 1、 安装zookeeper:https://blog.csdn.net/yaoxiwen/article/details/100579075 官方文档要求把zookeeper放在druid的根目录下,以zk命名。 2、需要配置jdk、zookeeper、druid路径: # vim /etc/profile export JAVA_HOME=/usr/local/jdk...

yaoxiwen的博客 848

Druid实战--安装与配置

简介 服务的搭建与运行是认识Druid的第一.步,采取分布式设计的Druid由不同职责的节点组成,同时为了实现节点间的信息同步和服务高可用性,其还依赖--些外部组件如Zookeeper、MySQL 和HDFS。本文将从如下几部分重点介绍Druid的安装部署和配置。 Druid服务的安装部署(单机版用于测试学习,集群版用于生产环境)。 如何搭建一个Druid集群以及关键...

阿华田的博客 2615

Druid 0.17 入门(2)—— 安装与部署

在Druid快速入门其实已经简单的介绍过最简化配置的单节点部署,本文我们将详细描述Druid的多种部署方式,对于测试开发环境可以选用轻量的单机部署方式,而生产环境我们最好选用集群部署的方...

大数据流动 162

druid单机版安装

Java 8 (8u92+) Linux, Mac OS X, or other Unix-like OS (Windows is not supported) 1、下载地址 https://www.apache.org/dyn/closer.cgi?path=/incubator/druid/0.16.1-incubating/apache-druid-0.16.1-incu...

一杯咖啡半杯糖的博客 889

OLAP分析工具Druid

Druid单机部署 java 8及以上 zookeeper mysql druid 安装步骤: 1. java8安装: sudo apt-get install openjdk-8-jre-headless 测试是否安装成功: java -version 出现下图这样就表示安装好了。 2. zookeeper安装: 首先下载zookeeper安装包: w...

weixin_40780291的博客 1059

Druid系列 《二》Druid使用与安装

  2.1加载数据到Druid Druid支持流式(实时)和基于文件(批量)的数据提取方式。最常用的配置是: Files - 通过HDFS、S3、本地文件或者任何支持hadoop文件系统批量加载数据。如果你的数据集已经在这类文件系统中推荐使用这个方法。 Stream push - 使用Tranquility(向Druid发送流的客户端)将实时数据流推送到Druid。如果你的数据集来自于流式...

sinat_32176267的博客 2911
上一篇: linux后台执行命令:&和nohup
下一篇: druid-0.9.2 or 0.10.0 下载安装部署问题
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值