基于 Druid 的 Apache Kylin 存储引擎实践

最新推荐文章于 2025-06-05 20:36:06 发布
原创 最新推荐文章于 2025-06-05 20:36:06 发布 · 1.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Kylin #hbase #big data #druid #存储引擎

2018年8月，在北京举行的Apache Kylin meetup活动中，美团点评分享了利用Druid作为Apache Kylin存储引擎的实践经验，及Kylin在公司内部的应用现状。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在2018年8月的Apache Kylin meetup@北京活动上，美团点评工程师做了关于使用 Druid 做为 Apache Kylin 存储引擎的实践，并更新了 Kylin 在美团点评的使用现状。













篇幅过长，完整资源地址https://www.slidestalk.com/s/KylinOnDruidInMeituan

大数据之Presto&Druid&Kylin
weixin_38255444的博客
04-09 4147
大数据之Presto&Druid&Kylin 一：Presto ​ 1、概念 ​ Presto是一个开源的分布式SQL查询引擎， 数据量支持GB到PB字节， 主要用来处理秒级查询的场景。 ​ 注意：虽然Presto可以解析SQL， 但它不是一个标准的数据库。 不是MySQL、Oracle的代替品， 也不能用来处理在线事务（OLTP） 。 ​ 2、架构 ​ 3、Presto优缺...
Apache Kylin 概述
02-24 650
https://www.cnblogs.com/xiaodf/p/11671095.html 1 Kylin是什么 今天，随着移动互联网、物联网、AI等技术的快速兴起，数据成为了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，这一问题已经变成...
基于Druid的Kylin存储引擎实践
menghuanhuolong6的专栏
05-24 243
https://blog.bcmeng.com/post/kylin-on-druid.html
Apache Druid 架构深度解析：构建高性能分布式数据存储系统
最新发布
neweastsun的专栏
06-05 2118
Apache Druid 是一个为实时分析和大规模数据集设计的分布式数据存储系统。本文将深入解析 Druid 的架构设计，探讨其各个组件的功能与交互方式，帮助您理解如何利用 Druid 构建高性能的数据分析平台。
Kylin On Druid Storage 原理与实践
程序员学习圈
01-20 998
目录     • What is Kylin         Kylin 构建时的数据格式转换         Kylin 查询时的数据格式流转         What is Druid Storage     • Why Kylin on Druid Storage     • How Kylin on Druid Storage         1 Druid新增Binary指...
Apache Druid分析型数据库设计-存储设计
JH Lan的博客
03-18 283
Druid数据存储在数据源中，这和传统关系数据库管理系统的表类似。每个数据源都按事件分区，也能可选地按其它属性进一步分区。每个时间范围叫做chunk。在chunk中，数据被分区成一个或多个段，每个段都是一个文件。 本文介绍内容有：1. 数据源（datasource）和段（segment）的概念；2. Indexing和handoff机制；3. 段标识符（segment identifier）；4. 段版本控制（segment versioning）；5. 段生命周期；6. 可用性和一致性
kylin和druid的java_基于 Druid 的 Apache Kylin 存储引擎实践
weixin_33736666的博客
03-02 266
展开查看详情1.基于Druid的Kylin存储引擎实践美团点评康凯森2.⼤纲• Kylin On HBase 问题• Kylin 新存储引擎探索•Kylin On Druid3.Kylin 服务现状973 Cube 380万 次查询/天数据量 Cube存储 TP 50 TP 908.9万亿 971TB 200ms 1.2...
【案例分享】Apache Kylin在美团点评的应用
01-26
在对比了MPP架构系统（如Presto、Impala、SparkSQL、Drill等）、搜索引擎架构系统（如Elasticsearch）和预计算系统（如Druid、Kylin）后，美团点评选择了Apache Kylin。Kylin因其预计算策略，能够在大数据集上实现秒...
Apache Kylin竞品分析.pdf
11-18
值得注意的是，Druid虽然不支持SQL，但因其专门设计的存储引擎和受限的查询能力，在查询性能方面表现优异。 - **大数据支持**：大部分产品在处理亿级至十亿级数据时表现良好，但当数据量进一步增加时，查询性能显著...
Win10环境借助DockerDesktop部署大数据时序数据库Apache Druid
虎鲸不是鱼
02-13 2212
Win10环境借助DockerDesktop部署最新版大数据时序数据库Apache Druid32.0.0
apache-druid-chinese-docs:Apache Druid中文文档
05-03
Apache Druid是一个高性能的实时分析型数据库 [removed] (adsbygoogle = window.adsbygoogle || []).push({}); [removed] 云原生、流原生的分析型数据库 Druid专为需要快速数据查询与摄入的工作流程而设计，在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。在实际中下数据仓库解决方案中，可以考虑将Druid当做一种开源的替代解决方案。 可轻松与现有的数据管道进行集成 Druid原生支持从、等消息总线中流式的消费数据，也同时支持从、等存储服务中批量的加载数据文件。 较传统方案提升近百倍的效率 Druid创新地在架构设计上吸收和结合了、以及的优势，在已经完成的中展现出来的性能远远超过数据摄入与查询的传统解决方案。 解锁了一种新型的工作流程 Druid为点击流
美团点评：基于Druid的Kylin存储引擎实践
天天乐见的笔记本
02-20 274
https://mp.weixin.qq.com/s/y0wxLqtCkYcc-kLMmtawYA
Kylin&Druid浅析
热门推荐
欲望以提升热忱 毅力以磨平高山
04-24 1万+
一、kylin 核心思想 Apache Kylin的核心思想是利用空间换时间，它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中（目前还仅支持hbase）， 同时由于Apache Kylin在查询方面制定了多种灵活的策略，进一步提高空间的利用率，使得这样的平衡策略在应用中值得采用。 kylin主要是对hive中的数据进行预计算，利用hadoop的mapreduce框架实现。 ...
Druid与Apache Kylin在美团的选型与实践
weixin_49067219的博客
11-29 381
8月5日，在Druid举办的中国用户组第五次Meetup上，高大月做了题为《Druid与Kylin在美团的选型与实践之领悟》的精彩演讲，向在场的大数据爱好者们介绍了美团点评的OLAP需求，及其大数据平台使用Druid和Apache Kylin的概况与性能对比。 开放的话题和干货满满的内容，激起了现场与会听众的热烈反响！错过了当天现场演讲的小伙伴们也不必遗憾，小编整理了高大月当天的演讲PPT，为大家再次还原干货内容！以下为高大月的演讲PPT实录： ...
Apache Druid 集群搭建及使用【超全面】
认知 行动 坚持
01-01 4383
一、Druid 简介 1.1 大数据分析平台架构分类 数据分析的基础架构可以分为以下几类： 使用Hadoop/Spark 进行分析 将Hadoop/Spark 的结果导入 RDBMS 中提供数据分析；补充说明：RDBMS一般指关系数据库管理系统 将结果注入到容量更大的NoSQL中，解决数据分析的存储瓶颈，例如：HBase 将数据源进行流式处理，对接流式计算框架，例如：Flink、Spark Streaming，结果保存到RDBMS、NoSQL中 将数据源进行流式处理，对接分析数据库，例如：
SpringBoot实战教程（6）| 整合Druid
猿小白的博客
12-10 2740
Apache Druid是一个实时分析型数据库，旨在对大型数据集进行快速的查询分析（"OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景，同时，Druid也通常被用来助力分析型应用的图形化界面，或者当做需要快速聚合的高并发后端API，Druid最适合应用于面向事件类型的数据。 目录 一、主要特征 二、使用场景 三、初始化SpringBoot项目 四、引入依赖文件 五、编写配置文件 六、编写DruidConfig配置类 七、查看Druid..
Apache Druid（二、架构设计）
yyoc97的专栏
08-21 736
文章目录回顾架构 整体设计进程服务作用数据流数据生产数据查询查询的优化索引服务存储设计Datasrouces and segmentssegment设计 特殊数据结构命名设计实际物理存储Segment创建过程参考 回顾 上一篇提供druid的安装是很早的版本了 https://blog.youkuaiyun.com/yyoc97/article/details/88411429，目前druid的安装使用会更简洁些快速入门。因为现在接触的业务有使用到这个组件，今天我们再来学习下它整体的架构。 架构 整体设计 这个是Dr
Druid+Presto+Kylin+Impala市场的查询引擎组件对比
互联网知识分享
08-07 272
Presto：适用于实时数据分析和交互式查询，支持多种数据源和复杂的查询，具有高性能和低延迟，但不支持高并发和大规模数据集。Impala：适用于实时查询和分析，支持标准的SQL查询和复杂的分析，具有高性能和低延迟，但不支持复杂的多维分析和数据压缩。Kylin：适用于多维分析和复杂的查询，支持预计算和多维模型，具有高性能和可扩展性，但需要预先建立Cube索引。Druid：适用于实时数据分析和聚合查询，支持高性能和实时性，但不支持复杂的多维分析和事务处理。它使用了并行处理和内存计算的技术，支持标准的。
apache kylin 架构
04-28
Apache Kylin 是一款开源的分布式分析引擎，旨在为 OLAP（联机分析处理）场景下大数据处理提供高效的解决方案。Kylin 架构设计主要包括四层：数据存储层、计算层、查询层和访问层。 数据存储层：Kylin 支持多种数据源，包括 HBase、Hive 和 RDBMS。在数据存储层，Kylin 将数据进行切分和存储，并构建多维数据模型和 Cube 模型，以此支持多维分析查询。 计算层：Kylin 计算层主要负责构建 Cube 数据模型，从而支持快速的多维分析。Kylin 使用 MapReduce、Spark 和 Flink 等分布式计算框架构建 Cube 模型，并且采用增量计算和全量计算相结合的方式，以保证数据的实时更新和高效查询。 查询层：Kylin 查询层主要提供两种查询方式：SQL 和 REST API。Kylin 查询层可以直接访问 Kylin Cube 数据模型，同时支持 SQL JOIN 和聚合操作，以支持丰富的多维分析操作。 访问层：Kylin 访问层主要负责提供数据可视化和 BI 工具集成。Kylin 支持多种数据可视化工具，如 Tableau、PowerBI 和 Superset 等，以及多个 BI 工具的集成，如 Apache Zeppelin、Apache Superset 和 Apache Druid 等。 总之，Apache Kylin 架构设计以分布式计算为核心，通过数据存储、计算、查询和访问四层框架提供高效、快速、多维的 OLAP 型数据分析解决方案，可广泛应用于电商、金融、广告等场景的数据分析处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值