32、云应用：现状、性能对比与科学工程应用探索

云应用：现状、性能对比与科学工程应用探索

1. 云应用实验概述

在云应用的性能测试中，涉及到多种软件版本和硬件配置。实验使用了 Hive 版本 0.12（Hive - MR）和 Impala 版本 1.2.2 运行在 Hadoop 2.0.0 - cdh4.5.0 上，Hive 版本 0.13（Hive - Tez）运行在 Tez 0.3.0 和 Apache Hadoop 2.3.0.1 上。Hadoop 配置为每个节点运行 12 个容器，每个核心 1 个。HDFS 复制因子设置为 3，每个任务的最大 JVM 堆大小设置为 7.5 GB。Impala 使用 MySQL 作为元存储，每个计算节点运行一个 impalad 进程，可访问 90 GB 内存。

实验所用的集群有 21 个节点，其中一个节点托管 HDFS 名称节点，有 20 个计算节点。每个节点运行 64 位的 Ubuntu Linux 12.04，配备一个 2.20 GHz 的 6 核 Intel Xeon CPU、11 个 2TB、7k RPM 的 SATA 磁盘、一个 10 千兆以太网网卡和 96 GB 的 RAM。每个节点的 11 个 SATA 磁盘中，有一个用于托管操作系统，其余用于 HDFS。

1.1 TPC - H 实验

实验运行了 22 个 TPC - H 查询，在每次运行前都会刷新所有计算节点的文件缓存。结果显示，Impala 在所有文件格式（无论是否压缩）下的性能都优于 Hive - MR 和 Hive - Tez，性能提升从 1.5 倍到 13.5 倍不等。Impala 性能大幅提升的原因如下：
- 比 Hive - MR 或 Hive - Tez 更高效的 I/O