永远好奇，无限进步！

Apache Druid 是一个高效的实时数据存储和分析系统，结合 Kafka 能实现对实时流数据的摄取与处理。典型的流程是先通过 Kafka 采集数据，Kafka 作为数据源接收生产者发送的实时数据，比如用户行为日志或传感器数据。Druid 通过 Kafka Indexing Service 实时从 Kafka 主题中消费数据，将其摄取到 Druid 集群中，并按照时间切片为数据段存储在深度存储中，如 HDFS 或 S3。

Segment创建完成之后，Segment文件就是不可更改的，被写入到深度存储（目的是为了防止MiddleManager节点宕机后，Segment丢失）。负责创建Task、分发Task到MiddleManger上运行，为Task创建锁以及跟踪Task运行状态并反馈给用户。同时，Metadata store 也会记录下这个新创建的Segment的信息，如结构、尺寸、深度存储的位置等等。作为从节点，负责接收主节点分配的任务，然后为每个Task启动一个独立的JVM进程来完成具体的任务。

Coordinator是周期运行的（由 druid.coordinator.period 配置指定，默认间隔60秒），Coordinator需要维护和ZooKeeper的连接，以获取集群的信息。进程监视MiddleManager进程，并且是Druid数据摄入的主节点，负责将提取任务分配给MiddleManagers并协调Segment发布，包括接受、拆解、分配Task，以及创建Task相关的锁，并返回Task的状态。存储Durid集群的元数据信息，如Segment的相关信息，一般使用MySQL。

Apache Druid 从 Kafka 中获取数据并进行分析的流程通常分为以下几个步骤：Kafka 数据流的接入： Druid 通过 Kafka Indexing Service 直接从 Kafka 中摄取实时流数据。Kafka 是一个高吞吐量的消息队列，适合处理大量实时数据。Druid 会订阅 Kafka 的 topic，每当新数据到达时，它会自动从 Kafka 中读取数据。

Apache Druid 是一种高性能、分布式的列式存储数据库，专门用于实时分析和查询大规模数据集。它适用于 OLAP（在线分析处理）场景，尤其在处理大数据实时流时表现优异。Druid 的架构由多个组件组成，主要包括数据摄取、存储、查询和管理。数据摄取层：使用 MiddleManager 节点来处理数据的实时摄取，负责从不同数据源（如 Kafka、HDFS 等）读取数据并进行实时处理。存储层：数据存储在 Historical 节点上，这些节点负责存储和管理较老的数据，支持高效的查询。

Apache Druid 集群模式 配置启动【上篇】 超详细！将MySQL驱动链接到：$DRUID_HOME/extensions/mysql-metadata-storage 中。上述文件链接到 conf/druid/cluster/_common 下。参数大小根据实际情况调整。参数大小根据实际情况调整。

Apache Druid 是一个高性能的实时分析数据库，专为快速聚合和查询大规模数据集而设计。它的架构由多个组件组成，每个组件在数据的存储、处理和查询中发挥重要作用。每个段通常包含一段时间内的数据，并被优化以支持快速查询。时间分区: Druid 根据时间将数据分区，以提高查询性能。数据按时间戳索引，有助于高效的时间范围查询。(这里注意，要关闭其他的服务，比如ZK什么的，不然会提示2181端口会占用)PS：官方建议大型系统采用集群模式部署，以此来实现容错和减少资源的争抢。官方目前已经到了版本30了。

使用Hadoop、Spark进行分析将Hadoop、Spark的结果导入到RDBMS中提供数据分析将结果保存到容量更大的NoSQL数据库中，解决数据分析的存储瓶颈，例如：HBase将数据源进行流式处理，对接流式计算框架（如Storm、Spark、Flink），结果保存到RDBMS或NoSQL中将数据源进行流式处理，对接分析数据库，例如：Druid互联网技术的快速增长催生出了各类大体量的数据，Hadoop很大的贡献在于帮助企业将他们那些低价值的事件流数据转换为高价值的聚合数据。