使用 Hadoop Streaming 工具编写 (Python等语言) MapReduce 程序

安装 hadoop 参考上一篇：安装 hadoop

Write MapReduce program with Hadoop Streaming，使用 Hadoop Streaming 编写 MapReduce 程序

• 官方文档： https://hadoop.apache.org/docs/current/hadoop-streaming/HadoopStreaming.html

• Hadoop Streaming is a utility that allows you to use any programming language to write MapReduce jobs for Hadoop. It provides a way to process data in Hadoop using standard input and output streams, making it flexible and language-agnostic. Hadoop Streaming 是一个实用工具，它允许您使用任何编程语言为 Hadoop 编写 MapReduce 作业。它提供了一种使用标准输入和输出流在 Hadoop 中处理数据的方式，使其具有灵活性和语言无关性。

• The example provided is using Python, 示例使用 Python 语言编写 mapper 和 reducer。

• 来自 HDFS 的输入数据包含的所有的文件块会由 mapper 全部处理成键值对后，shuffle 过程会把相同键输入给 reducer，再由 reducer 对键值对进行聚合。