【离线数仓】Day04-即席查询（Ad Hoc）：Presto链接不同数据源查询、Druid建多维表、Kylin使用cube快速查询...

最新推荐文章于 2023-05-09 10:02:34 发布
原创 最新推荐文章于 2023-05-09 10:02:34 发布 · 359 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kylin #数据库 #mysql #大数据

本文探讨了大数据分析引擎Presto的安装、优化，快速分析系统Druid的原理和使用，以及分布式OLAP引擎Kylin的建模与性能提升。介绍了如何通过这些工具处理PB级数据，实现秒级查询和实时分析。

 一、Presto

1、简介

概念：大数据量、秒级、分布式SQL查询engine【解析SQL但不是数据库】

架构

不同worker对应不同的数据源(各数据源有对应的connector连接适配器)

优缺点

缺点：读数据连查表会产生大量临时数据

与impala比较

Impala性能稍领先于Presto，但是Presto在数据源支持上非常丰富，如redis

2、安装

server安装

配置一个Hive的catalog

在hadoop102上配置成coordinator，在hadoop103、hadoop104上配置为worker

clien

最低0.47元/天 解锁文章
哥们要飞
关注
主流的 OLAP 引擎介绍 - OLAP极简教程
AI天才研究院
12-23 1万+
什么是OLAP ? 随着互联网、物联网、5G、人工智能、云计算等技术的不断发展，越来越多的数据在互联网上产生，对互联网的运营也开始进入精细化，因此大数据、数据分析、数字营销开始变成每个互联网企业的重点。在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？ OLTP(OnlineTransactionProcessing联机事...
数仓即席查询–Druid
01-07
Druid简介 Druid是一个快速的列式分布式的支持实时分析的数据存储系统;它在处理PB级数据,毫秒级查询,数据实时处理方面,比传统的OLAP系统有了显著的性能改进 官网:http://druid.io/ ps:阿里巴巴也有一个项目叫Druid,但是它是一个数据库连接池项目 Druid特点 1.列式存储格式 Druid使用面向列的存储,它只需要加载特定查询所需的列,查询速度快 2.可扩展的分布式系统 Druid通常部署在数十到数百台服务器的集群中,并且提供数百万条/秒的摄取率,保留数百万条记录,以及压秒级到几秒钟的查询延迟 3.大规模的并行处理 Druid可以再整个集群中进行大规模的并行查询
如何安装Presto以及基于Presto实现Mysql跨库数据查询，详细实现步骤
weixin_40648256的博客
05-09 1155
1. 下载 Presto Server 包2. 解压缩3. 配置 Presto Servera. 进入 Presto Server 目录b. 创建配置文件c. 修改配置文件4. 启动 Presto Server5. 验证 Presto Server 是否启动成功a. 打开 Presto Web UI在浏览器中打开。b. 执行查询如果查询成功，说明 Presto Server 安装成功。
【博学谷学习记录】超强总结，用心分享| presto框架
我爱骑呆马的专栏
11-27 987
presto
druid查询
weixin_33974433的博客
06-07 317
2019独角兽企业重金招聘Python工程师标准>>> ...
1.1 presto实现多数据源混合查询
心雨先生
07-04 8591
1.说明 1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎，他的最大特点：1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。本文主要说明将不同数据源配置进PrestoDB中，使他实现多数据源查询。现在以：Greenpluml和Mysql这2种数据源为例。 2.Mysql数据源 2.1进入Presto的安装目录： cd /o...
AD-HOC即席查询
最新发布
07-09
为了满足这些需求，现代的数据平台引入了多种技术和服务，比如Apache Druid、Kylin、Presto、Impala、Spark SQL等，它们通过内存计算、列式存储或者预先生成的Cube等方式优化了即席查询的速度和效率[^2]。...
OLTP, OLAP, 即席查询(ad hoc query)区别与联系
mo
07-28 4643
对于目前来讲,对数据的处理主要集中在两个方面,一种是联机事务处理OLTP（on-line transaction processing），另一种是联机分析处理OLAP（On-Line Analytical Processing）。 OLTP：是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，典型的是银行ATM存取款,金融证券方面的实时更新等,这些操作都比较简单，主要是对数据库中的数据进行DML操作，操作主体一般是产品的用户，并且OLTP事务性非常高，一般都是高可用的在线系统,如上述的银行金融方面
新零售项目及离线数仓核心面试，，220807，，
m0_48941160的博客
08-08 1043
即席查询(Ad Hoc Queries)，是用户根据自己的需求，灵活的选择查询条件，系统能根据用户的选择生成对应的统计报表。通过输入记录数，普通的 task counter 如下，输入的记录数是 13 亿多:而 task=000000 的 counter 如下，其输入记录数是 230 多亿。mr流程，input分片，map，map端shuffle（分区，spill溢写，merge），reduce端shuffle（拉取，merge），reduce聚合，output，Avro常用于Kafka、Druid。...
数仓即席查询--Druid
没有合适的昵称
02-14 2101
Druid简介 Druid是一个快速的列式分布式的支持实时分析的数据存储系统;它在处理PB级数据,毫秒级查询,数据实时处理方面,比传统的OLAP系统有了显著的性能改进 官网:http://druid.io/ ps:阿里巴巴也有一个项目叫Druid,但是它是一个数据库连接池项目 Druid特点 1.列式存储格式 Druid使用面向列的存储,它只需要加载特定查询所需的列,查询速度快 2.可扩展的分布式...
ApacheKylin深入Cube和查询优化
02-25
近几年，ApacheKylin作为一个高速的开源分布式大数据查询引擎正在迅速崛起。它充分发挥Hadoop、Spark、HBase等技术的优势，通过对超大规模数据集进行预计算，实现秒级甚至亚秒级的查询响应时间，同时提供标准SQL接口。目前，ApacheKylin已在全球范围得到了广泛应用，如百度、美团、今日头条、eBay等，支撑着单个业务上万亿规模的数据查询业务。在超高性能的背后，Cube是至关重要的核心。一个优化得当的Cube既能满足高速查询的需要，又能节省集群资源。本文将从多个方面入手，介绍如何通过优化Cube提升系统性能。在传统多维分析就有多维立方体（OLAPCube）的概念。Apache
Kylin
贾红平
01-07 983
Kylin 第1章 概述 1.1 Kylin定义 Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。 1.2 Kylin架构 1）REST Server REST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平...
Kylin中cube优化
weixin_33819479的博客
02-05 196
前言 Apache Kylin 在中企的使用主要在新数仓系统以及 BI 报表的数据计算工作，带来的变化有： 一方面Kylin帮助我们提升了开发效率，减少了开发人员需要手动编写HQL/SQL 语句去查询维度数据的状况； 另一方面解耦现有系统设计，数据计算层主要包括Spark类的实时计算和HQL的离线计算（Kylin在我司目前还没有接入实时流计算，后期会尝试接入），通过引入Kylin，整个离线计算这一...
使用Druid连接池查询表中数据
weixin_44432069的博客
02-03 1975
Druid连接池使用步骤 步骤： 导入druid相应的jar包 2. 定义配置文件 3. 创建数据库连接池对象 4. 获取数据库连接对象 5. 创建sql语句 6. 创建执行sql对象 7. 创建一个ResultSet结果集对象 8. 然后在用ResultSet里的方法 next()判断数据 9. 输入结果 10. 释放资源 1. jar包 Druid-1.0.9.jar：是Drui...
Apache Kylin 深入Cube和查询优化
积一时之步，臻千里之遥程
11-28 546
继续学习kylin~~ 转载自：https://mp.weixin.qq.com/s/40PWJu0K38kYY67Z-Hryhw 公众号：大数据技术博文 前言 Apache Kylin 在中企的使用主要在新数仓系统以及 BI 报表的数据计算工作，带来的变化有： 一方面Kylin帮助我们提升了开发效率，减少了开发人员需要手动编写HQL/SQL 语句去查询维度数据的状况； 另一方面解耦现有系统设计，数据计算层主要包括Spark类的实时计算和HQL的离线计算（Kylin在我司目前还没有接入实时流计算，后期会尝
druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported
Interest1_wyt的博客
07-16 1290
druid + presto报错：java.sql.SQLFeatureNotSupportedException: Batches not supported
(二）presto实现多数据源混合查询
Sunhighlight的博客
04-05 9614
1.说明 1.1PrestoDB是facebook开源的支持多数据源混合查询的一个计算引擎，他的最大特点：1.查询速度快 2.支持多数据源在一条SQL语句中混合查询 3.基于内存的查询。本文主要说明将不同数据源配置进PrestoDB中，使他实现多数据源查询。现在以：Greenpluml和Mysql这2种数据源为例。 2.Mysql数据源 2.1进入Presto的安装目录： #cd /home/y...
Kylin入门实战(数据源添加 + Model定义 + Cube构建 + 结果查询 + 查询限制)
Bulut0907
02-01 1506
新建model第一步：定义model信息第二步：定义model的表如果维度表太大，比如大于300MB，则不要对该维度表进行snapshot。导致不能直接查询该维度表，和不能从该维度表定义Cube的衍生维度字段两个表的join字段类型必须一致再点击Next，进入下一步第三步：选择model的维度字段第四步：选择model的度量字段第五步：model的分区和条件过滤设置由于我们的Hive测试表不是分区表，所以不用定义事实表的分区字段信息，进行的是全量数据构建。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值