Druid middleManager如何获取task信息并启动Peon进程

最新推荐文章于 2023-06-22 21:43:18 发布
最新推荐文章于 2023-06-22 21:43:18 发布
阅读量975 收藏
点赞数 2
分类专栏： # T-DRUID 文章标签： druid 时序数据库 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/txgANG/article/details/123899847
版权

前言

        继前一篇文章关于task被overload分配到zk上的流程分析，那么MiddleManager又是如何获取到zk上的task信息并启动Peon来真正运行起task的呢？

上图

        overload将task信息放到zk上之后，middleManager会有监听管理器WorkerTaskMonitor, 该监听管理器会启动一个操作zk的类PathChildrenCache来持续监听zk相关路径下的信息变动。                     middlemanager获取到task后，对task进行反序列化形成task对象放入WorkerTaskMonitor管理的一个map中并开始提交关于运行task的任务。在运行task之前会更新zk相关路径下关于该task的状态供overload关注。

         midd

最低0.47元/天 解锁文章
Druid Task被Overload分配到zk上的流程分析
Vision
03-03 562
前言 继前一篇文章关于task被supervisor创建的过程分析，那么task被创建后是怎样分配给zk的呢？task选择middlemanager的策略又是什么？ 上图 supervisor创建完task后，会将task扔到一个由TaskMaster创建的TaskQueue中。此后的事情就是如果将TaskQueue中的task进行分配运行了。 TaskQueue会启动一个线程一直运行，用来读取taskqueue队列中的tasks，对于已经准备好的tas...
druid.io 实时和离线任务使用的MiddleManager分离【工作总结】
master-dragon的专栏
03-23 694
首先做的是：实时和离线任务使用的MiddleManager分离；不过后面发现可以做出各种定制化方案，已确保重要任务，大任务也能隔离 实时和离线任务的区别 影响不一样 离线挂了，只要上游hive表数据有，可以立刻再重来一次；实时挂了，可能就出现丢/重的问题了，并且由于是实时查询，可能一大波实时因此而查询失败，严重影响用户体验 底层实现不一样 最大的区别： 实时任务既要负责实时数据导入，又要负...
OLAP分析引擎Druid配置文件详解（五）：MiddleManager配置文件
gan785160627的博客
07-12 1394
摘要：   本文是Druid配置文件系列博文的第五篇，我们将继续逐个介绍Druid的五大组件，本文将开始介绍Data Server中的middle manager和peon组件。 以下配置都在middleManager/runtime.properties文件中。 MiddleManager Process Config 这些配置在其他组件中也都有，这里不太详细介绍，如需了解请查看之前的一篇博文Coordinator配置文件 MiddleManager Configuration Middle man
Druid MiddleManager Config 设置（默认只允许2个任务）
weixin_34019929的博客
07-17 395
2019独角兽企业重金招聘Python工程师标准>>> ...
Druid的介绍、使用和原理架构(数据摄取、数据查询)
最新发布
迷雾总会解
06-22 7948
Druid是MetaMarket公司研发的一款针对海量数据进行高性能实时分析的OLAP引擎(包含存储引擎和分析引擎当前已经捐献给Apache基金会。低延迟交互式查询：Druid提供低延迟实时数据摄取(入库)，并采用预聚合、列式存储、位图索引 等手段使得海量数据分析能够亚秒级响应。高可用性( High Available )：Druid 使用 HDFS/S3 作为 Deep Storage，Segment 会在多个Historical 节点上进行加载；摄取数据时也可以多副本摄取，保证数据可用性和容错性。
Druid核心介绍 一
zhangzty111的博客
06-19 595
Druid是2013年底开源出来的， 主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。Druid简介：Druid是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层，一个分布式、shared-nothing的架构，和一个高级的索引结构，来达成在秒级以内对十亿行级别的表进行任意的探索分析。互联网技术的快速增长催生了各类大体量的数据，Hadoop很大的贡献在于帮助企业将他们那些低价值的事件流数据转化为高价值的聚合数据，这适
druid-1.1.2.jar 及配置信息
08-10
5. **StatFilter统计过滤器**：Druid的StatFilter能够收集SQL执行的各种统计信息，如执行次数、执行时间等，并提供Web监控界面展示，这对于定位性能瓶颈和优化SQL很有帮助。 6. **配置信息**：配置Druid主要涉及...
SpringBoot druid配置datasource启动初始化数据库连接
热门推荐
无知人生，记录点滴
03-12 2万+
1、问题场景： 1.1、服务在启动之后的第一笔或者几笔请求，处理时间较长，对于调用方来说超时，引发技术保底。 1.2、数据库连接信息配置错误，项目启动过程中却不产生任何异常，等到实际功能用到数据库了才抛出异常。 2、问题分析： 2.1、调用发系统通过http请求调用服务，设置超时时间为1s，超时时间过短，调整为3s； 2.2、应用启动之后的初始几笔请求处理时间过长，超过1s，跟踪日志发现在in...
druid简介
asfjgvajfghaklsbf的博客
12-20 1949
Druid的由来 随着大数据分析需求的爆炸性增长，很多公司都经历过将以关系型商用数据库为基础的数据平台，转移到一些开源生态的大数据平台，例如Hadoop 或Spark 平台，以可控的软硬件成本处理更大的数据量。Hadoop 设计之初就是为了批量处理大数据，但数据处理实时性经常是它的弱点。例如，很多时候一个MapReduce 脚本的执行，很难估计需要多长时间才能完成，无法满足很多数据分析师所期望的...
Druid学习笔记（2）Druid架构剖析
不积跬步，无以至千里；不积小流，无以成江海！
11-17 7839
1. 前言Druid 的目标是提供一个能够在大数据集上做实时数据摄入与查询的平台，然而对于大多数系统而言，提供数据的快速摄入与提供快速查询是难以同时实现的两个指标。例如对于普通的RDBMS,如果想要获取更快的查询速度，就会因为创建索引而牺牲掉写入的速度，如果想要更快的写入速度，则索引的创建就会受到限制。而Druid却可以完美的对两者进行结合，本文将对Druid如何实现这种结合做一个简单的介绍。2.
Druid索引过程详解
辉哥大数据
03-30 6602
目录：一、结构介绍       1）Historical Node       2）Broker Node       3）Coordinator Node       4）Real-Time Node       5）Indexing Service Node二、Druid索引的上游数据转换的过程       1）原始数据       2）roll up（上卷）三、Segment简要介绍四、索引核
Druid架构讲解
liyanling的博客
07-19 6528
druid内部节点介绍： Historical： 历史节点的职责主要是对历史的数据进行存储和查询，历史节点从Deep Storage下载Segment，然后响应Broker对于Segment的查询将查询结果返回给Broker节点，它们通过Zookeeper来声明自己存储的节点，同时也通过zookeeper来监听加载或删除Segment的信号。 Coordinator：协调节点监测一组历史节点来...
druid compact task 和index task 任务比较
Mr__XiaoBai的专栏
03-19 1365
druid中提供了各种的ingest task ，其中包括了compact和index task ,以下对两种task的应用场景以及优缺点进行了比较 （1）compact task 合并指定interval之间的所有segments .语句如下： { "type": "compact", "id": <task_id>, ...
druid.io之merge task
梦想成真那天
02-26 1069
在开发过程中,由于刚刚使用druid.io时,数据量比较小,所以如果按照小时来存储结果,发现每个segments只有几兆的大小,这种大量的小文件不适合在HDFS集群上进行深度存储,同时也会降低查询性能等等,所以迫切需要一种方案对segment进行数据合并,在查询druid.io的配置参数时,发现druid.io的协调节点上可以开启参数 druid.coordinator.merge.on 每隔一点...
Apache Druid 集群搭建及使用【超全面】
认知 行动 坚持
01-01 4259
一、Druid 简介 1.1 大数据分析平台架构分类 数据分析的基础架构可以分为以下几类： 使用Hadoop/Spark 进行分析 将Hadoop/Spark 的结果导入 RDBMS 中提供数据分析；补充说明：RDBMS一般指关系数据库管理系统 将结果注入到容量更大的NoSQL中，解决数据分析的存储瓶颈，例如：HBase 将数据源进行流式处理，对接流式计算框架，例如：Flink、Spark Streaming，结果保存到RDBMS、NoSQL中 将数据源进行流式处理，对接分析数据库，例如：
druid集群的安装和验证
Xlucas的博客
05-30 7585
核心 1、环境和架构 2、druid的安装 3、druid的配置 4、overlord json 5、overlord csv1、druid 环境和架构 环境信息 Centos6.5 32GB 8C *5 Zookeeper 3.4.5 Druid 0.9.2 Hadoop-2.6.5 Jdk1.7 架构 10.20.23.42 Broker Real-tim
Druid详细解读
qq_42264264的博客
07-23 1601
Druid高效架构 我们知道Druid能够同时提供对大数据集的实时摄入和高效复杂查询的性能，主要原因就是它独到的架构设计和基于Datasource与Segment的数据存储结构。接下来我们会分别从数据存储和系统节点架构两方面来深入了解一下Druid的架构。 数据存储 Druid将数据组织成Read-Optimized的结构，而这也是Druid能够支持交互式查询的关键。Druid中的数据存储在被称...
druid  overlord集群datasouce接入
he523160876的专栏
10-23 2892
核心节点 overlord middleManager broke historical coordinator 由overlord节点统一管理，负责接收任务，分发任务给middleManager节点，middleManager启动task执行 一、提交任务 http://:/druid/indexer/v1/task #提交任务 eg: curl -X
Druid服务介绍
weixin_43172032的博客
10-22 712
druid 架构 Coordinator： 管理数据，负责segments的管理和分发。 定期执行，执行周期可配置。 职能： 1，与historical节点进行通信(并不是直接通讯，是通过zookeeper相关path)，加载新的segment或者删除过时的segment。 2，备份segments到不同的historical节点（备份数量可配置）。 3，移动segment确保historical节点间负载均衡（historycal进程最高利用率和最低利用率超过某个阀值会触发负载均衡）。 4，合并小的se
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值