如何把一个表从hdfs通过pig放到hive，并压缩

最新推荐文章于 2024-06-28 09:57:52 发布

原创最新推荐文章于 2024-06-28 09:57:52 发布 · 361 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pig报错

大数据专栏收录该内容

12 篇文章

订阅专栏

本文介绍如何将HDFS上的数据通过Pig加载到Hive中，并进行压缩处理。详细步骤包括先将数据导入到Hive的普通表中，然后创建一个压缩的分区表，最后将数据从普通表导入到压缩表。文章还提供了具体的SQL语句示例，展示了如何避免因列数不匹配导致的插入错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如何把一个表从hdfs通过pig放到hive，并压缩？
（pig不支持load一个压缩表，所以说有点麻烦了）
思路首先放到hive的普通表里边，再建立一个压缩的分区表，把数据导入到压缩表。，
insert into table project.flow partition (ds=1544144400,gn=‘mengsan’) select * from cp.flow;
会报错因为是分区表如果select * 的话会出现 Line 1:18 Cannot insert into target table because column number/types are different ‘‘lol’’: Table insclause-0 has 10 columns, but query has 11 columns.的异常。需要具体查询
insert into table project.flow partition (ds=1544144400,gn=‘mengsan’) select logtype,server_id,pid ,plosgn,roleuid,logtime,method,data,logid from cp.flow;
基本操作大家都懂细节问题注意一下啦问题不大