druid查询

最新推荐文章于 2024-04-22 17:11:10 发布
原创 最新推荐文章于 2024-04-22 17:11:10 发布 · 200 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#druid

druid为各种场景提供了丰富的查询类型。 查询由各种JSON属性组合而成，不同类型的查询，JSON属性不同，下面主要介绍常用的查询类型。

1. Components

  1. Datasources

    一个数据源等价于druid表。此外，一个查询也可以作为数据源，提供类似于子查询的功能。查询数据源目前只支持GroupBy查询

    • Table Data Source

      最常用的类型

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Union Data Source

      联合数据源中的数据源必须拥有相同的schema。联合查询只能被发送给broker/router节点，不支持直接发送到历史节点

      1
      2
      3
      4
      {
         "type": "union",
         "dataSources": ["<string_value1>", "<string_value2>", "<string_value3>", ... ]
      }

      　　

  2. Filters

    • Selector filter

      等价于sql的where countryIsoCode = 'US'

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      {
            "queryType": "scan",
            "dataSource": {
              "type": "table",
              "name": "wikipedia3"
            },
            "filter": {
              "type": "selector",
              "dimension": "countryIsoCode",
              "value": "US"
            },
            "resultFormat": "list",
            "columns": [
              "page",
              "countryName",
              "cityName"
            ],
            "intervals": [
              "2016-06-27/2016-06-28"
            ],
            "limit": 5
          }

      　　

    • Column Comparison filter

      等价于sql的where countryName = cityName

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      24
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "columnComparison",
          "dimensions": [
            "countryName",
            "cityName"
          ]
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Regular expression filter

      正则表达式，支持标准的java正则表达式，下面的查询表示countryIsoCode以U开头

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "regex",
          "dimension": "countryIsoCode",
          "pattern": "^U"
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Logical expression filters

      支持and or not，下面的等价于 where countryIsoCode = 'US' and cityName = 'New York'

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      24
      25
      26
      27
      28
      29
      30
      31
      32
      33
      {
            "queryType": "scan",
            "dataSource": {
              "type": "table",
              "name": "wikipedia3"
            },
            "filter": {
              "type": "and",
              "fields": [
                {
                  "type": "selector",
                  "dimension": "countryIsoCode",
                  "value": "US"
                },
                {
                  "type": "selector",
                  "dimension": "cityName",
                  "value": "New York"
                }
              ]
            },
            "resultFormat": "list",
            "columns": [
              "page",
              "countryName",
              "cityName",
              "countryIsoCode"
            ],
            "intervals": [
              "2016-06-27/2016-06-28"
            ],
            "limit": 5
          }

      　　

    • JavaScript filter

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "javascript",
          "dimension" : "countryIsoCode",
          "function" : "function(value) { return (value == 'US' || value == 'CN') }"
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Search filter

      用于部分字符串匹配，如下面的表示包含foo，并且对大小写不敏感

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      {
        "filter": {
          "type": "search",
          "dimension": "product",
          "query": {
            "type": "insensitive_contains",
            "value": "foo"
          }
        }
      }

      　　

    • In filter

      等价于where countryIsoCode in ('US', 'CN')

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "in",
          "dimension" : "countryIsoCode",
          "values": ["US", "CN"]
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Like filter

      等价于where countryIsoCode like '%U'

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "like",
          "dimension" : "countryIsoCode",
          "pattern": "%U"
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

    • Bound filter

      等价于 "CN" < countryIsoCode < "US"

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      22
      23
      24
      25
      26
      27
      28
      {
        "queryType": "scan",
        "dataSource": {
          "type": "table",
          "name": "wikipedia3"
        },
        "filter": {
          "type": "bound",
          "dimension" : "countryIsoCode",
          "lower": "CN",
          "lowerStrict": true,
          "upper": "US" ,
          "ordering": "numeric",
          "upperStrict": true,
          "ordering": "lexicographic"
        },
        "resultFormat": "list",
        "columns": [
          "page",
          "countryName",
          "cityName",
          "countryIsoCode"
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ],
        "limit": 5
      }

      　　

  3. Aggregations

    • Count aggregator

      1
      2
      3
      4
      5
      6
      7
      8
      select
          page,
          count(*) as num
      from wikipedia3
      where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
      group by page
      order by num desc
      limit 5

      　　

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      {
        "queryType": "topN",
        "dataSource": "wikipedia3",
        "dimension": "page",
        "threshold": 5,
        "metric": "num",
        "granularity": "all",
        "aggregations": [
          {
            "type": "count",
            "name": "num"
          }
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ]
      }

      　　

    • Sum aggregators

      longSum、doubleSum、floatSum

      1
      2
      3
      4
      5
      6
      7
      8
      select
          page,
          sum(delta) as num
      from wikipedia3
      where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
      group by page
      order by page asc
      limit 5

      　　

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      {
        "queryType": "topN",
        "dataSource": "wikipedia3",
        "dimension": "page",
        "threshold": 5,
        "metric": "num",
        "granularity": "all",
        "aggregations": [
          {
            "type": "longSum",
            "name": "num",
            "fieldName" : "delta"
          }
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ]
      }

      　　

    • Min / Max aggregators

      doubleMin、doubleMax、floatMin、floatMax、longMin、longMax

      1
      2
      3
      4
      5
      6
      7
      8
      select
          page,
          max(delta) as num
      from wikipedia3
      where "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-28 00:00:00'
      group by page
      order by page asc
      limit 5

      　　

      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      {
        "queryType": "topN",
        "dataSource": "wikipedia3",
        "dimension": "page",
        "threshold": 5,
        "metric": "num",
        "granularity": "all",
        "aggregations": [
          {
            "type": "longMax",
            "name": "num",
            "fieldName" : "delta"
          }
        ],
        "intervals": [
          "2016-06-27/2016-06-28"
        ]
      }

      　　

    • First / Last aggregator

      不能在数据摄入的时候使用，只能用于查询

      Last：最大时间戳对应的数据，0 if no row exist；First最小时间戳对应的数据，0 if no row exist

    • JavaScript aggregator

  4. Post Aggregations

    对Aggregations的结果进行二次加工并输出，最终的结果既包含Aggregations的结果也包含Post Aggregations的结果

2. Timeseries

统计一段时间内的汇总数据

1
2
3
4
SELECT count(*) as num,
sum(added)
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'

　　

1
2
3
4
5
6
7
8
9
10
{
  "queryType": "timeseries",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "aggregations": [
    { "type": "count", "name": "count" },
    { "type": "longSum", "name": "added", "fieldName": "added" }
  ],
  "intervals": [ "2016-06-27/2016-06-28" ]
}

　　

3. TopN

返回前N条数据，并可以按照metric排序，可以支持维度，但只有一个

1
2
3
4
5
6
7
8
SELECT
    page,
    sum(added) as num
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
group by page
order by num desc
limit 5

　　

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
{
  "queryType": "topN",
  "dataSource": "wikipedia3",
  "dimension": "page",
  "threshold": 5,
  "metric": "added",
  "granularity": "all",
  "aggregations": [
    {
      "type": "doubleSum",
      "name": "added",
      "fieldName": "added"
    }
  ],
  "intervals": [ "2016-06-27/2016-06-28" ]
}

　　

4. GroupBy

能对指定的多个维度分组，也支持对指定的维度排序，也支持limit，但是性能比TopN和Timeseries要差很多

1
2
3
4
5
6
7
8
9
10
SELECT
    page,
    countryName,
    sum(added) as num,
    sum(delta) as num2
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
group by page,countryName
order by num desc
limit 5

　　

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
{
  "queryType": "groupBy",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions": [
    "page",
    "countryName"
  ],
  "limitSpec": {
    "type": "default",
    "limit": 5,
    "columns": [
      {
        "dimension": "added",
        "direction": "descending",
        "dimensionOrder": {
          "type": "numeric"
        }
      }
    ]
  },
  "aggregations": [
    {
      "type": "longSum",
      "name": "added",
      "fieldName": "added"
    },
    {
      "type": "longSum",
      "name": "delta",
      "fieldName": "delta"
    }
  ],
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

　　

5. Search

类似于like操作，可以查询多个维度列，不支持聚合

1
2
3
4
5
6
7
SELECT
page,
countryName
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
and page like '%C' or countryName like '%C'
limit 5

　　

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
{
  "queryType": "search",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions": [
    "page",
    "countryName"
  ],
  "query": {
    "type": "insensitive_contains",
    "value": "C"
  },
  "sort" : {
    "type": "lexicographic"
  },
  "limit": 5,
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

　　

6. Select

查数据，不支持聚合，但支持分页，排序

1
2
3
4
5
SELECT
*
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
limit 0,5

　　

1
2
3
4
5
6
7
8
9
10
11
{
  "queryType": "select",
  "dataSource": "wikipedia3",
  "granularity": "all",
  "dimensions":[],
  "metrics":[],
  "pagingSpec":{"pagingIdentifiers": {}, "threshold":5},
  "intervals": [
    "2016-06-27/2016-06-28"
  ]
}

　　

7. Scan

类似于Select，但不支持分页，但是如果没有分页需求，推荐使用这个，性能比Select好

1
2
3
4
5
SELECT
page,countryName
FROM wikipedia
WHERE "__time" BETWEEN TIMESTAMP '2016-06-27 00:00:00' AND TIMESTAMP '2016-06-27 23:59:59'
limit 5

　　

1
2
3
4
5
6
7
8
9
10
11
{
   "queryType": "scan",
   "dataSource": "wikipedia3",
   "resultFormat": "list",
   "columns":["page","countryName"],
   "intervals": [
     "2016-06-27/2016-06-28"
   ],
   "batchSize":20480,
   "limit":5
 }
Druid连接池的testQuery/validationQuery
sjtu_chenchen的专栏
08-27 1万+
<bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close"> <!-- 基本属性 url、user、password --> <property name="url" value="${jdb
druid查询源码追踪
lxhjava的博客
12-09 668
待整理和完善。。。 org.apache.druid.cli.Main --> CliBroker getModules()–> BrokerQueryResource.getQueryTargets() –> 1.List ServerViewUtil.getTargetLocations(BrokerServerView,datasource,interval,…) 获取segmentLocation, 2.ResourceIOReaderWriter.ok()读取segment
数据查询系统Druid介绍
02-02
Druid是一个高效的数据查询系统，主要解决的是对于大量的基于时序的数据进行聚合查询。数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。
druid 1.2.8线程池validation-query未起作用？？discard long time none received connection
hgg923的专栏
06-28 2147
最近项目生产环境老是报错：discard long time none received connection（感觉可能是跨机房，连接池连接失效了，然后validation-query恰巧没生效）
Druid查询
TRX的博客
01-21 1244
目录概述查询分类：1、聚合查询（Aggregation Queries）1.1 Timeseries1.2 TopN（TopN queries）1.3 GroupBy2、元数据查询（Metadata Queries）2.1 时间范围查询（Time Boundary Queries）2.2 Segments元数据查询（Segment Metadata Queries）2.3 数据源元数据查询（Dat...
druid-dashboard:可视化Druid查询的UI
05-03
1. **查询构建器**：这个功能允许用户构建复杂的Druid查询，无需直接编写JSON或SQL。用户可以选择不同的查询类型，如时间序列查询、TopN查询、搜索查询等，并设置相应的过滤条件和聚合函数。 2. **实时监控**：仪表...
plyql：基于Plywood的类似MySQL的Druid查询
01-30
当前仅支持对Druid的查询。 将来会提供更多支持。 CLI支持以下选项： 选项 描述 --help 打印此帮助消息 --version 显示版本号 -v ，-- --verbose 显示正在进行的查询 -h ，-- --host 连接的主机 -s ，-- --...
druidry：基于Java的Druid查询生成器库
02-05
Druid是一种非常流行的工具，用于对事件数据执行OLAP查询。 Druid现在在大多数组织中驱动实时仪表板。 我们@扎普爱德鲁伊！ 因此，我们希望为使Druid变得更加友好而不断扩展的社区做出贡献。 我们希望简化与Druid...
Java版Druid查询生成器：简化实时数据分析
标题“druidry：基于Java的Druid查询生成器库”揭示了一个专门为Druid数据库构建的查询生成器，它允许开发者以Java语言为基础，构建查询而非直接操作JSON格式，从而简化对Druid进行查询的过程。 #### Druid简介 ...
DRUID- 通过postman或curl查询druid数据
sidongxue2的专栏
06-12 2867
通过postman或curl查询druid数据
Druid简介及常用查询操作
qq_38151401的博客
08-14 5392
目录 一、druid主要功能介绍 二、druid使用场景 1、适用于如下场景 2、不适用于如下场景 三、常见查询操作 1、timeseries时间序列 2、TopN 3、GroupBy分组查询 4、scan扫描查询 5、search搜索查询 6、timeBoundary时间边界查询 7、segmentMetadata细分元数据查询 8、dataSourceMetadata数据源元数据查询 四、查询组件介绍 1、filter过滤器 （1）选择器过滤器selector （2）列
Druid 大数据分析之查询
yangyangmyself的专栏
08-31 1152
1、Druid 查询概述     上一节完成数据导入后，接下来讲讲Druid如何查询及统计分析导入的数据。    Druid的查询是使用REST风格的HTTP请求查询服务节点（Broker、Historical、Realtime），这些服务节点暴露REST查询接口，客户端发送Json对象请求查询接口。一般情况下，查询服务接口发布在Broker节点，基于Linux 的POST请求查询如下所示：...
Druid 0.17入门（4）—— 数据查询方式大全
大数据流动
05-15 767
本文收录于专辑Druid入门指南持续更新中~本文介绍Druid查询数据的方式，首先我们保证数据已经成功载入。Druid查询基于HTTP，Druid提供了查询视图，并对结果进行了格式...
druid
qq_51787166的博客
07-08 514
druid
druid链接池validationQuery的属性值问题
热门推荐
weixin_40622172的博客
06-12 1万+
问题描述：在同步别的数据库数据时，报了如下错误 2019-06-12 17:16:24 - [ERROR] - create connection error, url: jdbc:oracle:thin:@192.168.20.174:1521/erpdb4, errorCode 923, state 42000 - com.alibaba.druid.pool.DruidDataSource...
spring 整合 druid 数据库连接池
沉在水底的鱼的博客
04-09 554
<!-- https://mvnrepository.com/artifact/com.alibaba/druid --> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version&gt...
druid数据库连接池配置项说明
最新发布
我有一枚大大大太阳
04-22 2746
druid数据库连接池配置项说明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值