实时数仓-Doris ON ES

原理介绍:原文点击  

   Doris通过创建外部表方式将Doris的分布式查询规划能力和ES(Elasticsearch)的全文检索能力相结合,提供更完善的OLAP分析场景解决方案,支持:

  1. ES中的多index分布式Join查询

  2. Doris和ES中的表联合查询,更复杂的全文检索过滤

图片

   创建ES外表后,FE会请求建表指定的主机,获取所有节点的HTTP端口信息以及index的shard分布信息等,如果请求失败会顺序遍历host列表直至成功或完全失败。

   执行查询时,会根据FE得到的一些节点信息和index的元数据信息,生成查询计划并发给对应的BE节点,BE节点会根据就近原则即优先请求本地部署的ES节点,BE通过HTTP Scroll方式流式的从ES index的每个分片中并发的获取数据

计算完结果后,返回给client端。

    ES节点类型分为主节点、数据节点、协调节点,FE通过主节点获取ES信息,BE直接拉取数据节点获取数据。

实验过程  

实验环境:doris版本0.14.0,elasticsearch版本7.11.1

doris环境搭建及启动这里就不在叙述了,elasticsearch参考ES环境搭建及后续文章

一、单节点查询:

1、创建doris外部表

CREATE EXTERNAL TABLE `es_table` (  `id` bigint(20) COMMENT "",  `k1` bigint(20) COMMENT "",  `k2` datetime COMMENT "",  `k3` varchar(20) COMMENT "",  `k4` varchar(100) COMMENT "",  `k5` float COMMENT "") ENGINE=ELASTICSEARCHPARTITION BY RANGE(`id`)()PROPERTIES ("host" = "http://192.168.244.129:9200","index" = "test”);

2、ES初始化

1、创建test索引

{  "mappings": {    "properties": {      "k1": {        "type": "long",        "index": "true"      },      "k3": {        "type": "text",        "analyzer": "ik_max_word",        "search_analyzer": "ik_max_word"      },      "k4": {        "type": "text",        "analyzer": "ik_max_word",        "search_analyzer": "ik_max_word"      },      "k5": {        "type": "float"      },      "k2": {        "type": "date",        "format": "yyyy-MM-dd"      }    }  }}

图片

2、添加数据

{  "k1": 100,  "k2": "2020-01-01",  "k3": "Trying",  "k4": "Trying out Elasticsearch",  "k5": 10}

数据添加成功后,在mysql客户端连接doris查询ES数据,看到如下结果代表doris查询ES成功。

图片

3、批量添加数据

POST /_bulk
{"index":{"_index":"test"}}
{ "k1" : 100, "k2": "2020-01-01", "k3": "Trying out Elasticsearch", "k4": "Trying out Elasticsearch", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 100, "k2": "2020-01-01", "k3": "Trying out Doris", "k4": "Trying out Doris", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 100, "k2": "2020-01-01", "k3": "Doris On ES", "k4": "Doris On ES", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 100, "k2": "2020-01-01", "k3": "Doris", "k4": "Doris", "k5": 10.0}
{"index":{"_index":"test"}}
{ "k1" : 100, "k2": "2020-01-01", "k3": "ES", "k4": "ES", "k5": 10.0}

执行模糊匹配查询:

图片

二、JOIN查询:

1、创建外部表

图片

2、ES创建索引test2

{  "mappings": {    "properties": {      "k1": {        "type": "long",        "index": "true"      },      "k3": {        "type": "text",        "analyzer": "ik_max_word",        "search_analyzer": "ik_max_word"      },      "k4": {        "type": "text",        "analyzer": "ik_max_word",        "search_analyzer": "ik_max_word"      },      "k5": {        "type": "float"      },      "k2": {        "type": "date",        "format": "yyyy-MM-dd"      }    }  }}

3、ES添加数据​​​​​​​

POST /_bulk{"index":{"_index":"test2"}}{ "k1" : 200, "k2": "2020-02-01", "k3": "Doris e ", "k4": "ES", "k5": 20.0}

4、执行JOIN查询

图片

5、JOIN模糊查询​​​​​​​

select * from test ,test2 where test.k1=test2.k1 and esquery (test.k3, '{        "match": {           "k3": "ES"        }    }');

图片

Doris ON  ES 今天就介绍到这里了,觉得有用关注:蓝天Java大数据

### 实时数据仓库 Doris 使用指南 #### 架构概述 Apache Doris 是一款基于 MPP (大规模并行处理)架构的现代化分布式 SQL 数据库,专为实时分析设计。其核心组件包括 FE(Frontend) 和 BE(Backend),其中 FE 负责查询解析、规划以及协调工作;BE 则负责实际的数据存储与计算任务[^1]。 #### 主要特性 - **高吞吐量写入支持**:通过批量导入机制实现高效的数据加载过程。 - **低延迟读取性能**:优化后的执行引擎能够提供亚秒级响应时间。 - **多维聚合能力**:内置多种预聚合索引结构来加速复杂查询场景下的表现。 - **水平扩展性强**:可以根据业务需求灵活增加节点数量以应对更大规模的工作负载。 - **丰富的生态系统集成**:易于与其他大数据平台和服务对接,如Kafka, Spark等。 #### 最佳实践建议 为了充分发挥 Apache Doris 的优势,在部署和使用过程中可以遵循以下几个方面: ##### 合理配置集群资源 确保有足够的硬件资源配置给FE和BE节点,并根据具体应用场景调整参数设置,比如内存大小、磁盘I/O带宽等。 ##### 定期维护表结构 对于不再活跃的历史分区应及时清理释放空间;同时可根据访问模式创建合适的Rollup模型提高特定查询效率。 ##### 监控系统健康状态 利用Prometheus+Grafana组合构建监控面板跟踪关键指标变化趋势,及时发现潜在问题并采取措施解决。 ```python import prometheus_client as pc from grafana_api.grafana_face import GrafanaFace # 初始化 Prometheus Client pc.start_http_server(8000) # 连接至 Grafana API grafana = GrafanaFace(auth='your_token', host='localhost') ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值