Vision

前言 继前一篇文章关于task被overload分配到zk上的流程分析，那么MiddleManager又是如何获取到zk上的task信息并启动Peon来真正运行起task的呢？上图 overload将task信息放到zk上之后，middleManager会有监听管理器WorkerTaskMonitor, 该监听管理器会启动一个操作zk的类PathChildrenCache来持续监听zk相关路径下的信息变动。 middlemana...

前言 继前一篇文章关于task被supervisor创建的过程分析，那么task被创建后是怎样分配给zk的呢？task选择middlemanager的策略又是什么？上图 supervisor创建完task后，会将task扔到一个由TaskMaster创建的TaskQueue中。此后的事情就是如果将TaskQueue中的task进行分配运行了。 TaskQueue会启动一个线程一直运行，用来读取taskqueue队列中的tasks，对于已经准备好的tas...

前言 继前一篇文章关于supervisor启动流程分析的启动过程，然后来分析一下supervisor启动后是如何启动并管理task的运行的。又是如何将KafkaTask的对象创建的。上图创建完持续执行的supervisor线程后，紧接着通过一个定时的单线程池来创建RunNotice()对象并放入notice队列中供supervisor进行poll并运行handle()方法。定时的时间则是配置的task的运行周期，默认是1秒。当supervisor获取到RunNo...

前言 继上一篇关于suervisor启动流程的文章，发现一了关于kafkaRecordSupplier的一些疑问。本篇就单独拎出这个类来看一下做的什么事情。 首先KafkaRecordSupplier是干什么用的？它主要是操作kafka数据真正执行的地方，比如拉取kafka数据的poll函数在这个类里面实现的。 KafkaRecordSupplier继承了RecordSupplier, 而RecordSupplier只有kafka和Kinesis两个地方做了具体的实现，Reco...

前言 在维护druid服务的过程中，我们的物化视图的supervisor状态总是发生异常，通过日志以及MR程序的情况来看，目前猜测是因为yarn资源问题导致的这一现状。虽然现在通过脚本监控的形式来保证物化视图supervisor异常时重新拉起而不会产生物化视图延迟（尤其是晚上发生异常）。但是不能明确为什么supervisor的执行流程。因此本着探究supervisor的心态，因为kafka-index supervisor比较成熟且经典，于是先研究下kafka-index supervisor先熟..

benchmarks 基准测试模块cloud 对接亚马逊和谷歌云的模块core 核心包，主要包括druid的基础组件定义dev 开发者需要关注的内容distribution 发布描述，dockerfile的创建开发等docs 文档examples druid的目录文件事例(bin/conf/quickstart)extendedset 扩展集合 conciseSetextensions-contrib 社区贡献的扩展插件 ambari-metrics=emitter 监控指标扩...