一种解决Impala自定义属性查询的方案

背景

在使用Impala做自助分析的过程中，我们经常发现自定义属性的需求，通常情况下用户会将这种不确定key的字段全部塞到一个MAP字段中，然后通过Impala的复杂结构查询语法进行查询，目前Impala只支持Parquet格式表的schema中使用复杂数据类型（包括STRUCT、ARRAY和MAP），查询语法可以参考 Impala复杂类型语法，但是它存在两个弊端：语法不兼容hive和查询性能不理想。第一个问题是由于特定的实现方式导致的，第二个问题则是由于parquet存储MAP类型的字段决定的。那么有没有办法提升用户的这种查询需求和简化查询SQL的写法呢？

JSON UDF VS. MAP

为了避免MAP在impala中复杂的使用方式和性能不好的问题，我们一般建议使用JSON字符串的方式代替map存储表达的字段内容，毕竟json能够完全表示出MAP的语义，而开发一般使用JAVA实现，也比较方便生成JSON格式的数据。通过使用json解析的UDF来抽取其中想要的字段，我们首先使用了一个开源的JSON UDF的实现 ，这个开源的实现使用了rapidjson作为json解析器，它的使用方法类似于hive的get_json_object，函数定义如下：

STRING get_json_object(STRING, STRING)

第一个参数为输入的json字符串，第二个参数是需要解析的内容，该内容通过如下方式解析：

• $ : Root ob