Hive行转列过程中使用LATERAL VIEW遇到空MAP或者空数组的情况

最新推荐文章于 2024-06-21 16:47:31 发布

原创

最新推荐文章于 2024-06-21 16:47:31 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

本文探讨了在Hive中行转列操作时遇到空MAP或空数组导致数据丢失的问题。通过在查询中加入特定关键字，可以确保包含空数据，使结果符合预期。解决方案包括对NULL值进行转换。

背景：

HIve在进行行转列的过程中，如果遇到转的数组或者MAP()的情况，会出现一种特殊情况，就是数据会消失：

原数据：

   SELECT

            '1' AS id,

            MAP() AS purchase_info

        UNION ALL

        SELECT

            '2' AS id,

            MAP() AS purchase_info

        UNION ALL

        SELECT

            '3' AS id,

            str_to_map('2019-11-28:100,2019-11-27:1') AS purchase_info

        UNION ALL

        SELECT

            '3' AS id,

            str_to_map('2019-11-28:200,2019-11-27:2') AS purchase_info

    ) all LATERAL VIEW OUTER EXPLODE(purchase_in