19、构建与管理 Azure HDInsight 集群全解析

构建与管理 Azure HDInsight 集群全解析

1. 创建与管理集群

在创建好第一个 Azure HDInsight 集群后，可使用 Get - AzureHDInsightCluster cmdlet 列出新集群的详细信息，使用 -Name 参数指定集群名称。示例代码如下：

Get - AzureHDInsightCluster -Name pshdclstr

若要销毁（删除）集群，可使用 Remove - AzureHDInsightCluster cmdlet，示例代码如下：

Remove - AzureHDInsightCluster -Name pshdclstr

2. 使用 HDInsight 集群运行 MapReduce 作业

2.1 MapReduce 概念

MapReduce 分为 Map 作业和 Reduce 作业两个操作。Map 作业的代码在数据节点上运行，对数据执行操作，如统计特定单词的出现次数或计算所有数字的平均值。Reduce 作业的代码在主节点上运行，收集所有节点的结果并最终呈现。

MapReduce 是 Hadoop 生态系统中许多其他应用程序用于执行功能的框架，借助 YARN 框架（将资源分配与 MapReduce 分离），可以同时运行多个 MapReduce 作业。Ha