1 使用工具: hbase 自带的性能测试工具 PE
2 测试的场景:a 使用 snapyy 算法 , b 不使用 snappy算法
3 测试的数据量 15000000
4 执行命令:
a hbase pe --oneCon=true --valueSize=100 --compress=SNAPPY --rows=15000000 --autoFlush=true --presplit=64 randomWrite 2
b hbase pe --oneCon=true --valueSize=100 --compress=NONE --rows=15000000 --autoFlush=true --presplit=64 randomWrite 2
5 对比分析
| 算法 | 数据场景rows | 耗时(毫秒) | 保存到hadoop中的数据量 |
| snappy</ |

本文利用Hbase自带的性能测试工具PE,对比了使用Snappy压缩算法与不使用压缩的情况。在写入15000000行、每行100字节的数据时,Snappy压缩后的数据量减少了约1/3,但写入耗时增加了1.038倍。结论表明,Snappy在性能损失较小的情况下能显著减少数据存储量。
最低0.47元/天 解锁文章
2617

被折叠的 条评论
为什么被折叠?



