55、大数据处理：Hadoop与Spark实战

大数据处理：Hadoop与Spark实战

1. Hadoop MapReduce处理《罗密欧与朱丽叶》文本

在处理大数据时，Hadoop是一个强大的工具。下面我们将使用Hadoop MapReduce来处理《罗密欧与朱丽叶》的文本文件，具体步骤如下：
1. 复制文件到Hadoop文件系统
- 首先，使用 ssh 登录到集群并访问其命令行。在命令提示符、终端或shell中执行以下命令，确保将 YourClusterName 替换为你的集群名称，同时会提示输入集群密码：

ssh sshuser@YourClusterName-ssh.azurehdinsight.net

- 然后，使用以下Hadoop命令将文本文件复制到集群提供的`/example/data`文件夹中：

hadoop fs -copyFromLocal RomeoAndJuliet.txt /example/data/RomeoAndJuliet.txt

2. 运行MapReduce作业
   • 执行以下命令运行MapReduce作业，为方便起见，命令文本已放在 yarn.txt 文件中，可复制粘贴：