本文对比了Hive, Impala和PrestoDB这三种大数据处理工具的特点。Hive的优点在于其广泛应用性和良好的用户自定义函数支持，但查询速度较慢；Impala提供轻量级快速查询，但在节点查询失败时容忍度为零；PrestoDB同样轻量快速，但不支持用户自定义函数。这些工具在不同场景下各有优势。
- hive
| 优点 | 缺点 |
|---|---|
| 被广泛应用，经受时间的考验 | 既然是基于Mapreduce，也拥有MapReduce所有缺点，包含昂贵的Shuffle操作和磁盘IO操作 |
| 运行在Mapreduce框架之上 | hive仍然不支持多个reduce操作group by和order by查询 |
| 非常好的支持用户自定义函数 | 和其他竞品相比，查询速度很慢 |
| 很友好的和hbase等系统结合 |
- cloudera impala
| 优点 | 缺点 |
|---|---|
| 轻量快速，支持近乎实时的查询 | 零容忍运行查询任务，如果一个节点上查询失败，整个查询都会失败 |
| 计算都在内存中完成，减少延迟和磁盘IO开销 | 用户自定义函数不是很好的支持 |
- PrestoDB
| 优点 | 缺点 |
|---|---|
| 轻量快速，支持近乎实时的查询 | 13年的new born，需要待验证 |
| facebook内部广泛使用，扩展性和稳定性毋庸置疑 | 现在支持hive管理的表，尽管官方称支持hbase查询，但是仍然是开发状态 |
| 自从开源依赖有强劲的发展势头 | 不支持UDF操作 |
| 和impala同样使用分布式查询引擎，和传统的Mapreduce相比，消除了延迟和磁盘IO开销 | |
| 文档完善 |
扫一扫
874
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
