轻量级OLAP（二）：Hive + Elasticsearch

1. 引言

在做OLAP数据分析时，常常会遇到过滤分析需求，比如：除去只有性别、常驻地标签的用户，计算广告媒体上的覆盖UV。OLAP解决方案Kylin不支持复杂数据类型(array、struct、map)，要求数据输入Schema必须是平铺的，但是平铺后丢失了用户的聚合标签信息，而没有办法判断某一个用户是否只有性别、常驻地标签。显然，我们需要一种支持复杂数据类型的OLAP数据库；底层为Lucene的Elasticsearch正在向OLAP融合，腾讯内部已经用基于Lucene的分析数据库Hermes来做多维数据分析。

Elasticsearch(ES)在设计之初是用来做全文检索的搜索引擎，但随着倒排索引所表现出来优秀的查询性能，有越来越多人拿它