大数据impala+hive/kudu性能测试

前一个月，一直在和师兄做实验室的一个项目:大数据平台性能测试（phrase1），没有时间更新。现把第一阶段结果附上，希望能够帮到更多做类似事情的朋友。

源码已经上传至[https://github.com/darcy-shimmer/bigdata_phrase1]里面readme包括详细解释。

---

本次测试我们使用TPCDS标准进行。第一阶段我们主要测试hive&kudu导入数据速度以及impala+hive和impala+kudu两者的查询速度。

---

测试环境

• 节点：阿里云ECS 四个节点(但实际上第一阶段我们只用到了一个服务器bigdata1来测试)
• 配置：-
  • CPU： 8核
  • 内存： 32 GB
• 操作系统：CentOS 6.9 64位
• 版本：Kudu 1.7.0
• 对照组实验：
  • Impala+hive(textfile)
  • Impala+kudu

---

测试目的：

利用测试对比该数据平台上，impala+kudu和impala+hive的查询速度，以及把数据导入kudu/hive的速度。