qq_30310607的博客

背景博主所在的公司是一家手机游戏发行公司，旗下多款手机游戏，每小时游戏日志上报量非常大，这些原始游戏日志全部进入到我司数据仓库 ods 层，运营，产品每天会查询游戏上报的原始日志（日志中包含abtest），分析数据走向。但是因为每天的日志数量非常大，且所有游戏的日志都混合在一张原始日志表中（没有对游戏上报日志在 ods 层做分游戏处理，类似 ods_game1, ods_game2,...），于...

Impala是什么？Impala是Cloudera公司推出，提供对HDFS，Hbase数据的高性能，低延迟的交互式SQL查询；           基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点；           是CDH平台首选的PB级别大数据实时查询分析引擎。优点：基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销；        ...