Hadoop、Hive数据格式、压缩格式对比分析,及其他linux压缩格式或命令
Hadoop Hive数据格式
文件格式
txt 面向行 可分割并行计算 非原 查看简单编辑简单 无压缩、占磁盘大、IO压力大
seq 面向行 可分割并行计算 原生 二进制kv存储,支持行压缩和块压缩 压缩 生产环境,常用于mr的中间数据存储
rc 面向列 可分割并行计算 原生 行列式文件、减少不必要的IO、提高IO效率 自带压缩、省...
原创
2018-12-15 15:58:29 ·
455 阅读 ·
0 评论