大数据分析（Big Data OLAP）引擎Dremel, Tenzing 以及Impala_大屏批量数据分析引擎-优快云博客

本文链接：https://blog.youkuaiyun.com/xhanfriend/article/details/8434896

本文介绍了大数据分析引擎Dremel、Tenzing和Impala，探讨了如何提高SQL在大数据平台上的执行速度。Dremel以其快速的SQL执行和列式存储提供高效分析，而Tenzing通过对MapReduce的优化实现快速查询。Impala是Dremel的Hadoop复制品，有望成为统一的查询引擎。YouTube的BI架构采用Dremel和Tenzing，展示了这些技术的实际应用。

对于数据分析师来说，SQL是主要的语言。 Hive为Hadoop提供了支持SQL运行的能力，可是目前Hive运行速度达不到实时要求。这是因为Hive将SQL翻译成一个或多个MapReduce任务，而MapReduce原本是大数据批处理计算框架，并不适应实时数据分析的速度要求。

现在有两种思路去提高SQL在大数据平台上的执行速度：

1. 用一种更快的SQL执行引擎取代MapReduce。

2. 优化MapReduce，使其更适合OLAP查询。

谷歌在这两种思路上都做出了先驱性工作。2010年，谷歌发表了Dremel论文。Dremel是取代MapReduce的SQL执行引擎，其速度要快于MapReduce100倍，基本上可以保证大多数SQL执行在一秒内完成。 2011年，谷歌发表了Tenzing论文， Tenzing是一种经过优化的MapReduce系统，大多数SQL查询能在5--10秒钟之内完成。

本文将首先讨论Dremel和Tenzing的技术特点，然后展示Youtube的BI构架，最后将讨论最新开源SQL执行引擎Impala。

Dremel—一个更快的SQL执行引擎

据谷歌的技术人员自己宣称，Dremel的SQL执行速度不仅比MapReduce快，也要比MySQL块。例如一个大的Fact table, 有130 million行数据，在上面做Avg（）计算，MySQL需要2分钟，而用类似价位硬件的Dremel只需要几秒钟。

Dremel之所以快，主要有两点原因

1. Dremel的服务器节点按照一个递归树形状组织在一起。图1显示了Dremel服务器节点组织构架。