Hive/Impala 复杂类型使用 Complex types

最新推荐文章于 2025-10-10 14:31:38 发布

原创

最新推荐文章于 2025-10-10 14:31:38 发布 · 2.1k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了如何在Hive和Impala中使用复杂数据类型，如Array、Struct和Map。首先创建一个Hive表，然后通过编写含有分隔符的数据文件，将数据导入。由于Impala不支持TextFormat，因此需要创建一个Parquet格式的Hive表，再将数据导入。最后在Impala中查询新表，展示了数据的正确导入和解析。

主要是在impala中使用复杂类型（array，struct，map），作为测试所以需要hive。具体过程：

创建hive表1
编写本地数据文件，导入数据
创建hive表2，存储为parquet（这样才能在impala中使用），从表1导入到表2

cloudera impala有不同的example提供，可参考

但其中唯有一点没有说清楚：即在第二部中，本地文件的编写，如果嵌套层级很深，如何写，举个例子：

1 创建表1如下：

CREATE TABLE IF NOT EXISTS test1 (
   order_id string,
   rooms array<struct<
         room_id:string,
         days:array<struct<day_id:string,price:int>>
         >
   >
) ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '|'
  COLLECTION ITEMS TERMINATED BY ','
  MAP KEYS TERMINATED BY ':';

这个层级是这样的：

{
    order_id: "order1", 
    rooms: [
        {
            room_id: "room1", 
            days: [
                {
                    day_id: "day1", 
                    price: 1