Apache Druid 安装与配置指南

Apache Druid 安装与配置指南

druid Druid是一个高速的数据查询引擎，主要用于OLAP场景。它的特点是快速查询、支持复杂查询语句、易于部署等。适用于数据分析和报告生成场景。 项目地址: https://gitcode.com/gh_mirrors/dru/druid

1. 项目基础介绍

Apache Druid 是一个高性能的实时分析数据库，专为需要快速查询和摄入数据的场景设计。它适用于为用户界面提供支持、运行运营（即席）查询或处理高并发的场景。Druid 可以作为数据仓库的开放源代码替代品，适用于多种用途。

主要编程语言：Java

2. 项目使用的关键技术和框架

• 存储引擎：Druid 使用列式存储引擎，优化了读操作，特别是在执行聚合查询时。
• 实时数据摄入：支持实时数据流摄入，能够快速处理数据更新。
• 查询接口：提供丰富的查询接口，包括 DruidSQL 和原生查询接口。
• 扩展性：具有高度可扩展性，支持水平扩展以处理大量数据和高查询负载。
• 集成：可以通过 HTTP 和 JDBC API 集成到各种应用和工具中。

3. 安装和配置准备工作

在开始安装 Apache Druid 之前，请确保您的系统满足以下要求：

• Java Development Kit (JDK)：安装 JDK 11 或 JDK 17。
• Python：安装 Python 2.7.x（用于运行部分脚本）。
• Node.js：安装 Node.js（用于构建文档）。

安装步骤

步骤 1：下载 Apache Druid

从 Apache Druid 的官方网站下载最新版本的二进制发行包。您也可以从源代码构建，但通常二进制包已经足够用于大多数用途。

# 下载二进制包（以 Linux/macOS 为例）
wget https://downloads.apache.org/druid/版本号/druid-版本号-bin.tar.gz
tar -xzf druid-版本号-bin.tar.gz
cd druid-版本号

步骤 2：配置环境变量

设置环境变量 DRUID_HOME 指向 Druid 安装目录，并将 Druid 的 bin 目录添加到 PATH 变量中。

export DRUID_HOME=/path/to/druid-版本号
export PATH=$PATH:$DRUID_HOME/bin

步骤 3：启动 Druid

启动 Druid 集群，首先需要启动历史节点（Historical），它用于存储和处理数据。

# 启动历史节点
nohup druid HistoricalStart -c druid-historical.properties &

接着启动经纪人节点（Broker），它用于处理查询并将它们路由到历史节点。

# 启动经纪人节点
nohup druid BrokerStart -c druid-broker.properties &

最后，启动协调节点（Coordinator），它负责管理数据段的分配和任务调度。

# 启动协调节点
nohup druid CoordinatorStart -c druid-coordinator.properties &

步骤 4：加载数据

使用 Druid 提供的数据加载工具，如 druid-ingest, 加载数据。具体的数据加载配置取决于您的数据源格式和需求。

# 加载数据示例
druid-ingest -c your-data-ingestion-specification.json

步骤 5：访问 Web 控制台

在浏览器中访问 http://localhost:8081，您将看到 Druid 的 Web 控制台，可以在这里监控集群状态、管理数据源、执行查询等。

以上步骤是一个基本的 Apache Druid 安装过程。根据您的具体需求，可能还需要进行更多配置，如设置数据存储路径、调整内存和资源限制等。请参考 Apache Druid 的官方文档以获取更多详细信息。

druid Druid是一个高速的数据查询引擎，主要用于OLAP场景。它的特点是快速查询、支持复杂查询语句、易于部署等。适用于数据分析和报告生成场景。 项目地址: https://gitcode.com/gh_mirrors/dru/druid