大数据分析（Big Data OLAP）引擎Dremel, Tenzing 以及Impala

最新推荐文章于 2025-07-30 14:18:22 发布

原创

最新推荐文章于 2025-07-30 14:18:22 发布 · 置顶 · 5.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#bi #BI #big data #Big Data #dremel #Dremel #Impala #Tenzing

本文介绍了大数据分析引擎Dremel、Tenzing和Impala，探讨了如何提高SQL在大数据平台上的执行速度。Dremel以其快速的SQL执行和列式存储提供高效分析，而Tenzing通过对MapReduce的优化实现快速查询。Impala是Dremel的Hadoop复制品，有望成为统一的查询引擎。YouTube的BI架构采用Dremel和Tenzing，展示了这些技术的实际应用。

对于数据分析师来说，SQL是主要的语言。 Hive为Hadoop提供了支持SQL运行的能力，可是目前Hive运行速度达不到实时要求。这是因为Hive将SQL翻译成一个或多个MapReduce任务，而MapReduce原本是大数据批处理计算框架，并不适应实时数据分析的速度要求。

现在有两种思路去提高SQL在大数据平台上的执行速度：

1. 用一种更快的SQL执行引擎取代MapReduce。

2. 优化MapReduce，使其更适合OLAP查询。

谷歌在这两种思路上都做出了先驱性工作。2010年，谷歌发表了Dremel论文。Dremel是取代MapReduce的SQL执行引擎，其速度要快于MapReduce100倍，基本上可以保证大多数SQL执行在一秒内完成。 2011年，谷歌发表了Tenzing论文， Tenzing是一种经过优化的MapReduce系统，大多数SQL查询能在5--10秒钟之内完成。

本文将首先讨论Dremel和Tenzing的技术特点，然后展示Youtube的BI构架，最后将讨论最新开源SQL执行引擎Impala。

Dremel—一个更快的SQL执行引擎

据谷歌的技术人员自己宣称，Dremel的SQL执行速度不仅比MapReduce快，也要比MySQL块。例如一个大的Fact table, 有130 million行数据，在上面做Avg（）计算，MySQL需要2分钟，而用类似价位硬件的Dremel只需要几秒钟。

Dremel之所以快，主要有两点原因

1. Dremel的服务器节点按照一个递归树形状组织在一起。图1显示了Dremel服务器节点组织构架。