大数据
关注
分享
扫一扫
ddumax
在路上
展开
-
Hadoop压缩存储方案对比
三点评价标准1.1. CPU处理能力/处理量 1.2. I/O处理能力 1.3. 网络传输能力如果数据已经以压缩的格式存储，则不需要再压缩，如jpeg。存储格式对比： 存储格式 优点 缺点 是否可切分 建议用途 备注 GZIP 压缩率高 CPU使用率高，压缩慢 × 冷数据 BZIP2 压缩率高，部分文件格式甚至比GZIP高 CPU使原创 2016-11-22 09:53:46 · 3016 阅读 · 0 评论 -
MapReduce: shuffle
http://blog.youkuaiyun.com/u014374284/article/details/49205885http://matt33.com/2016/03/02/hadoop-shuffle/转载 2018-03-08 13:30:16 · 260 阅读 · 0 评论