16、Hive数据处理、开发与测试全解析

Hive数据处理、开发与测试全解析

1. 数据移动与序列文件操作

在Hive中，数据移动和序列文件操作是常见的任务。例如，将数据移动到指定路径：

Moving data to: file:/user/hive/warehouse/final_comp_on_gz_seq

查看表 default.final_comp_on_gz_seq 的统计信息：

Table default.final_comp_on_gz_seq stats:
[num_partitions: 0, num_files: 1, num_rows: 2, total_size: 199, raw_data_size: 6]

可以使用 dfs -ls 命令查看文件列表：

hive> dfs -ls /user/hive/warehouse/final_comp_on_gz_seq;
Found 1 items
/user/hive/warehouse/final_comp_on_gz_seq/000000_0

序列文件是二进制的，查看其头部信息可以确认结果是否符合预期：

hive> dfs -cat /user/hive/warehouse/final_comp_on_gz_se