cloudera impala 交集、差集实际测试数据

最新推荐文章于 2021-05-09 08:26:09 发布

原创

最新推荐文章于 2021-05-09 08:26:09 发布 · 1.8k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cloudera #impala #交集 #差集 #测试数据

这篇博客展示了在Cloudera Impala中使用内连接和左连接操作处理大规模数据（1.5亿到21.5亿条记录）时，计算交集和差集的实际性能。通过不同查询方式比较，得出最优的查询方法，以获取不重复的交集和差集记录数量。

cloudera impala 交集、差集实际测试数据

[root@hadoop1 test-im]# impala-shell -i hadoop2 -f z_join_test_big_data.sql
Starting Impala Shell without Kerberos authentication
Connected to hadoop2:21000
Server version: impalad version 1.2.4 RELEASE (build ac29ae09d66c1244fe2ceb293083723226e66c1a)

Query: use db01

Query: show tables
+----------------------------------+
| name |
+----------------------------------+
| ontime |
| ontime_parquet |
| ontime_partitioned_parquet | ( 此表有 1.5 亿条数据 )
| ontime_partitioned_parquet_21_yi | ( 此表有 21.5 亿条数据 )
+----------------------------------+
Returned 4 row(s) in 0.01s

#有重复的数据
Query: select count(origincityname) from ontime_partitioned_parquet where year=2001 and month=1 and airlineid=20355 and dayofmonth=1
+-----------------------+
| count(origincityname) |
+-----------------------+
| 1980 &n