alanchanchn的专栏

以上，简单的介绍了impala的sql语法与使用示例，也介绍了impala导入数据的几种方式、java api操作impala，最后用一个综合示例简单的对比了impala和hive的查询速度。本文简单的介绍了impala的sql语法与使用示例，也介绍了impala导入数据的几种方式、java api操作impala，最后用一个综合示例简单的对比了impala和hive的查询速度。Impala中的limit子句用于将结果集的行数限制为所需的数，即查询的结果集不包含超过指定限制的记录。

impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应HBase和已经学过的HDFS以及MapReduce。

本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。本文分为五个部分，即结论、三种文件介绍、需求、实现步骤、实现和网上别人的结论与验证。由于本文太长，导致阅读可能比较麻烦，故一篇文章分为两篇，第一篇是准备数据，第二篇是查询比较。本文是第二篇。本文接。

本文通过在hdfs中三种不同数据格式文件存储相同数量的数据，通过hive和impala两种客户端查询进行比较。本文前提：熟悉hadoop、hive和impala、kafka、flink等，并且其环境都可正常使用。（在后续的专栏中都会将对应的内容补全，目前已经完成了zookeeper和hadoop的部分。）本文分为一般建议，下面通过实际操作进行比较实现1亿条数据在hive和impala中不同sql的分析，比较text、orc、parquet三种文件存储格式的查询性能与存储大小。下面步骤中的将mysql通过M