apache druid安装

Centos7服务器安装Apache Druid,以及文件数据摄入、kafka实时数据流摄入 1、Apache Druid简介 Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。 Druid通常应用于以下场景: 点击流分析(Web端和移动端) 网络监测分析(网络性能监控) 服务指标存储 供应链分析(制造类指标) 应用性能指标分析 阅读详情

Apache druid运行需要依赖其他一些软件环境,所以需要先安装依赖环境,最后再安装druid。

这些依赖的环境包括:

  • jdk
  • zookeeper
  • kafka

1.1 jdk安装

将jdk包下载下来进去下面操作,如果有可以用最下面的命令查看一下版本
# 解压命令
tar -zxf jdk-8u191-linux-x64.tar.gz -C /usr/local/
# 修改配置命令
vi /etc/profile
​
# 添加内容:
export JAVA_HOME=/usr/local/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
​
# 配置生效命令
source /etc/profile
#查看java版本命令
java -version

1.2zookeeper安装

#启动容器:
docker run -id --name my_zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime zookeeper:3.4.14
#查看容器运行情况:
docker logs -f my_zookeeper

1.3kafka安装

  • 下载安装

#拉取镜像
docker pull wurstmeister/kafka
#启动容器  这里面需要修改成你现在端口号 (红色部分)
docker run -id --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.17.21:2181 -e  KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.17.21:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
#查看容器运行情况:
docker logs -f kafka
  • 参数说明
     
-e KAFKA_BROKER_ID=0  在kafka集群中,每个kafka都有一个BROKER_ID来区分自己
-e KAFKA_ZOOKEEPER_CONNECT=68.79.63.42:2181 配置zookeeper管理kafka的路径
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://68.79.63.42:9092  把kafka的地址端口注册给zookeeper
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口
-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间
  • 验证

#进入kafka容器 (可以一次性输入进去)
docker exec -it kafka /bin/bash
#进入bin目录  (这里请一步一步cd进去,然后在ls查看一下,可能 kafka_2.12-2.5.0 这个有一些人的是版本不同因为下载的镜像版本不一样,然后最后再进去bin目录)
cd /opt/kafka_2.12-2.5.0/bin/
#执行命令,创建名称为test的队列,此队列有一个副本,一个分区(红色部分改为自己的端口号)
./kafka-topics.sh --create --zookeeper 192.168.17.21:2181 --replication-factor 1 --partitions 1 --topic test
#查看刚刚创建的队列
./kafka-topics.sh -list -zookeeper 192.168.17.21:2181
  • 消息发送和接收 

 接下来通过kafka提供的脚本测试发送消息和接收消息

#执行命令,启动消费端,监听test队列 (启动后后会有光标占用这个不用管)
./kafka-console-consumer.sh --bootstrap-server 192.168.17.21:9092 --topic test --from-beginning
#新开一个命令窗口,启动生产者,向test队列发送消息 (重新开一个端口然后也进入容器里面,同上的操作只需要进入即可,也是需要一步一步进去)
./kafka-console-producer.sh --broker-list 192.168.17.21:9092 --topic test

然后在新的界面输入值,在那个老界面会实现一个监听器的效果,监听你输入的值

#测试完成后按Ctrl+C退出
Apache Druid入门系列(二): 安装配置 Druid入门-安装环境需求下载并解压启动Druid服务 参考自:http://druid.io/docs/latest/tutorials/index.html 本文的例子是0.14.0版本,请参考:https://druid.apache.org/docs/0.14.0-incubating/tutorials/index.html 在本文示例中,我们将下载druid并将其配置在一台机器上。完... 阅读详情

相关推荐

4、java操作druid api

Druid提供了JDBC接口,项目可以直接使用 JDBC 连接Druid进行实时数据分析。本文简单通过一个示例介绍了通过jdbc访问druid的数据。2、编写JDBC代码连接Druid获取数据。本文依赖druid可用,且数据已经准备好。本文分为2部分,即需求和实现步骤。查询estdata数据源中。

alanchanchn的专栏 8万+

【超详细】Apache Durid从入门到安装详细教程

1. Durid概述 Apache Druid是一个集时间序列数据库、数据仓库和全文检索系统特点于一体的分析性数据平台。本文将带你简单了解Druid的特性,使用场景,技术特点和架构。这将有助于你选型数据存储方案,深入了解Druid存储,深入了解时间序列存储等。 Apache Druid是一个高性能的实时分析型数据库。 1.1 为什么使用 1.1.1 云原生数据库 一个现代化的云原生,流原生,分析型数据库 ​ Druid是为快速查询和快速摄入数据的工作流而设计的。Druid强在有强大.

博学谷狂野架构师的博客 3535

docker-druid:德鲁伊在docker中,也在mesos上

德鲁伊在码头工人 基本映像用于烘焙您自己的配置。 支持在运行的基本映像。 该图像也应该用作基础。 以kafka作为实时输入并以hdfs作为深度存储的示例集群,可在boot2docker中运行。

2020-09-20

一、Overview 1.1 概念 Segment: Druid将索引数据保存到Segment文件中,Segment文件根据时间进行分 片。Segment中会保存维度、指标以及索引信息。 roll-up: 数据预聚合,将一定时间粒度范围内、维度列相同的数据进行聚合 Druid进程和服务。 Coordinator进程管理群集上的数据可用性。从metastore中读取Segment的元数据,并决定哪些Segments需要被加载到集群中。使用ZooKeeper查看已经存在的历史节点都有哪些,了解集群各个.

502

[ESP32]:基于esp-modbus实现serial主机

[ESP32]:基于esp-modbus实现serial主机

LINKKEEE的博客 2567

从零组装电赛送药小车:OpenMV视觉核心+STM32控制,我的软硬件联调全记录

本文详细记录了从零构建电赛智能送药小车的全过程,重点解析了OpenMV视觉识别与STM32控制的深度协同方案。通过硬件选型对比、通信协议设计、PID调参等实战经验,解决了巡线精度、十字路口识别等核心问题,最终实现稳定可靠的送药小车系统,助力电子设计竞赛取得优异成绩。

weixin_42641741的博客 447

Apache Druid 安装与使用指南

Apache Druid 安装与使用指南 本指南将带你逐步了解如何安装并使用开源实时分析数据库 Apache Druid。首先,我们将概述项目目录结构,然后解释启动文件及其作用,最后详细讨论配置文件。 1. 项目目录结构及介绍 在解压或克隆 apache/druid 仓库后,你会看到以下主要目录: bin:存放用于启动和管理 Druid 的脚本。 conf:包含了 Druid 默认的配置文件和示...

gitblog_00856的博客 1214

MT4-EA自动化交易研究笔记(2022-04-22)

自从接触到mt4的EA自动化交易,更让我这个10多年的老程序员看到了曙光,目前来看也确实出了一点成果,只是是否能稳定盈利有待时间的考验,所以开此专栏,一来做做记录与分析,更好的优化我的EA,二来也希望能与更多的高手交流,以完善我的交易系统

t35254056的博客 2291

Apache Druid 安装与配置指南

Apache Druid 是一个高性能的实时分析数据库,专为需要快速查询和摄入数据的场景设计。它适用于为用户界面提供支持、运行运营(即席)查询或处理高并发的场景。Druid 可以作为数据仓库的开放源代码替代品,适用于多种用途。 主要编程语言:Java ## 2. 项目使用的关键技术和框架 - **存储引擎**:Druid 使用列式存储引擎,优化了读操作,特别是在执行聚合查询时。 - **实时...

gitblog_00089的博客 665

超详细流式细胞术全流程解析:从样本制备到结果分析全攻略

流式细胞术(Flow Cytometry)是现代生物学和医学研究中不可或缺的高通量分析技术,可实现对细胞表型、功能状态、细胞周期等多维度参数的快速检测。本文将从实验全流程出发,详解样本制备、上机操作、参数设置及结果处理的核心要点,帮助科研人员精准掌握流式实验关键技术。

good_rrrrr的博客 3868

【深度学习】基于BERT模型的情感分析(附实战完整代码+数据集)

情感分类是一个快速发展的研究领域,尽管众多模型和数据集在二分类任务中显示出很高的准确性,但细粒度的情感分类任务仍然是一个很大改进空间的领域。分析SST-5数据集,Munikar等人的先前工作表明,嵌入工具BERT允许使用简单的模型来实现最新的准确性。

aaaa_hsjsueu的博客 2万+

Windows 本地安装部署 Apache Druid

本文介绍了在Windows本地安装部署Apache Druid的详细步骤。首先需要准备Java环境和ZooKeeper,然后下载配置Druid,调整内存参数以适应Windows环境。启动顺序为:ZooKeeper、Coordinator、Overlord、Historical、Broker和Router。验证安装后可通过控制台加载示例数据和执行查询。文中还提供了常见问题的解决方案,如内存不足、端口冲突等,并建议生产环境使用Linux或Docker部署。整个流程涵盖了从环境准备到服务关闭的全过程。

qq_40453972的博客 1294

Qt:一个强大而灵活的跨平台应用程序开发框架

代码示例中的源代码是简单的示例,用于演示Qt框架的一些基本特性。实际应用中,开发人员可以根据自己的需求和项目要求,使用Qt框架提供的丰富功能和组件进行开发。在Qt的官方文档和示例代码中,您可以找到更多详细的教程和示例,以帮助您更好地理解和使用Qt框架。它提供了丰富的工具和功能,支持跨多个平台进行开发,并具有高度的可定制性和灵活性。它提供了丰富的工具和功能,使得开发人员能够创建高性能、可扩展和易于维护的应用程序。下面将详细介绍Qt框架的优点,并提供一些相关的源代码示例。

CodeVorter的博客 852

安装Apache-Druid

1、 官网下载Apache-Druid 地址:http://druid.apache.org/downloads.html 2、 解压安装:执行命令 tar -zxvf apache-druid-0.19.0-bin.tar.gz 出现apache-druid-0.19.0目录 3、 启动apache-druid: ./bin/start-nano-quickstart 后台启动:./bin/start-nano-quickstart & 出现以下日志说明启动成功: Apache-Druid建库

weixin_43128990的博客 906

Android 人像分割实战:OpenCV+YOLOv8+NCNN 三库联动(附 GPU 加速 / 内存优化全方案)

本文详细介绍了在Android项目中集成OpenCV+YOLOv8+NCNN实现实时人像分割的技术方案。主要内容包括:项目环境搭建(配置NDK、添加Native模块)、核心库文件集成(OpenCV、NCNN、YOLOv8模型)、JNI接口设计与实现(Kotlin层调用C++算法)。通过Camera API获取图像数据,使用YOLOv8进行人体检测,结合NCNN高性能推理框架实现人像分割处理,最终将原始画面与分割结果(背景透明)同时显示在Android界面上。该项目采用多技术栈协同工作,OpenCV负责图像处

FJN110的博客 234

【网络安全 | 渗透工具】Hydra安装使用详细教程

Hydra,也称九头蛇,是一款非常强大的暴力破解工具(密码能否被破解关键在于字典是否足够强大),支持多种服务协议的账号和密码进行爆破,包括Web登录、数据库、SSH、FTP等服务,支持Linux、Windows、Mac平台安装。该工具支持以下协议的爆破:Hydra在kali中自带,这里介绍windows下的安装方法。zip下载地址:https://gitcode.com/maaaaz/thc-hydra-windows/tree/master下载完成后解压: 再将thc-hydra-windows-mast

等风来 9200

Apache Druid 入门单机安装

下载Druid Binary download:apache-druid-0.16.1-incubating-bin.tar.gz 环境: Java 8 (8u92+) centos 7 解压 tar -xzf apache-druid-0.16.1-incubating-bin.tar.gz cd apache-druid-0.16.1-incubating 安装zooke...

u013568834的专栏 1217

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Apache Druid集群安装

Druid集群版安装有以下几步: 安装jdk 安装zookeeper 安装Hadoop 安装Kafka 安装MySQL 安装Druid 下面详细介绍每一步的安装过程。安装Druid集群需要提前关闭防火墙。 1、安装jdk jdk的安装过程比较简单,但是需要在所有节点安装。 1、上传tar包到指定位置,解压 tar -zxvf jdk1.8.0_121.tar.gz 2、修改...

qq_35542970的博客 886

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

Apache Druid (incubating) 安装及使用

主要对Druid进行了简要的介绍,包括概念和架构,以及常见的问题。接着以Single-service的方式自定义配置进行了部署和安装,以及对安装的后的Druid的简要使用

Yore - Home 8077

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Apache Druid入门&安装

介绍 Apache Druid是MetaMarket公司研发,分布式的、支持实时多维 OLAP 分析的数据处理系统。它既支持高速的数据实时摄入处理,也支持实时且灵活的多维数据分析查询。因此 Druid 最常用的场景就是大数据背景下、灵活快速的多维 OLAP 分析。 另外,Druid 还有一个关键的特点:它支持根据时间戳对数据进行预聚合摄入和聚合分析,因此也有用户经...

kamisamak的博客 641

Apache Druid安装部署手册

一 Druid架构 1. Coordinator 监控Historical处理,负责分配segments到指定的服务,确保存在HIstorical中是自平衡的 2. Overlord 监控MiddleManager处理和控制数据加载进druid集群;对分配给MiddleManager的摄取任务和协调segments的发布负责 3. Broker 处理来自客户端的查询,解析将查询重定向到Historical和MiddleManager,Broker接收到数据从这个子查询中,合并这些结果然后返回给查询者 4.

qq_34746079的博客 1993

apache Druid 集群安装过程中常见的几个错误

1. Apache Druid data节点的historical MaxDirectMemorySize 的问题 错误信息: Please adjust -XX:MaxDirectMemorySize, druid.processing.buffer.sizeBytes, druid.processing.numThreads, or druid.processing.numMergeBu...

hzspinga的博客 2099

【Apache Druid】druid 0.20集群安装配置避坑指南

项目场景: Druid集群规划: centos 01:coordinator,overlord centos 02:historical,middle_manager centos 03:router,broker 注:apache druid是一个时序数据库,并非阿里的druid数据库连接池。同时,druid 需要安装MySQL,以此储存元数据。 问题描述1: druid 启动时报错: ERROR 2002 (HY000): Can’t connect to local MySQL server th

人生何事不浮云 1364

Apache Druid安装(单机版)

本次安装Apache Druid的单机模式。 准备工作 jdk 1.8(jdk1.8.0_121) Linux centos 7.3 apache-druid-0.16.1-incubating-bin.tar.gz (下载地址:https://downloads.apache.org/druid/) 安装过程 1、解压 tar -zxvf apache-druid-0.17.0-...

qq_35542970的博客 1175

Apache Druid 0.15.0安装与配置指南

实时分析数据库是处理大规模时序数据的核心技术,Apache Druid作为其中的佼佼者,通过列式存储和分布式架构实现高性能查询。0.15.0版本在易用性方面做出重大改进,新增可视化Data Loader工具和正式支持SQL功能,大幅降低使用门槛。该版本特别适合需要实时分析的应用场景,如用户行为分析、IoT数据处理等。本文详细介绍从单机部署到生产集群的完整安装流程,包含系统要求检查、JVM调优、常见问题排查等工程实践内容,帮助开发者快速掌握这一实时分析利器。

weixin_33416697的博客 287

Apache Druid 安装问题汇总

问题1、Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. 解决: 1、拷贝的hadoop目录下的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn...

qq125293177的博客 926
上一篇: docker镜像设置成阿里镜像
下一篇: druid安装
java_XTao
博客等级 码龄5年 1粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值