Spark学习——第二章：MapReduce-demo-代码分析

MapReduce

Mapreduce 编程技术用于分析集群中的海量数据集。 在下面的代码分析中，我们将一起了解 Hadoop MapReduce 是如何工作的;

Hadoop 和 Spark 之间最大的区别是，Spark 试图在内存中进行尽可能多的计算，从而避免在集群中来回移动数据。 Hadoop 将中间计算写到磁盘上，这可能会降低效率。 是一个比 Spark 更老的技术，也是大数据技术的基石之一。

1.1代码介绍

我们将处理一个“ songplays.txt”的文件。 这是一个文本文件，其中每一行代表一首在 Sparkify 应用程序中播放的歌曲。 Mapreduce 代码将计算每首歌曲被播放的次数。 换句话说，该代码计算歌曲标题在列表中出现的次数。

1.2代码实现

from mrjob.job import MRJob # import the mrjob library

class MRSongCount(MRJob):
    
    # the map step: each line in the txt file i