Cloudera VM环境下使用Spark合并数据

最新推荐文章于 2025-08-23 20:28:56 发布

michael3lyb

最新推荐文章于 2025-08-23 20:28:56 发布

阅读量365

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： cloudera mapreduce python hadoop spark

本文链接：https://blog.youkuaiyun.com/michael3lyb/article/details/51059103

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何在Cloudera VM环境下利用PySpark代替MapReduce进行数据合并。通过启动PySpark shell，加载HDFS上的数据，编写并应用mapper函数，以及使用Spark的join函数来合并两个数据集，实现更高效的交互式数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在前一篇文章中我们使用了hadoop-MapReduce-streaming合并数据。这里我们使用相同的数据文件，但改用在PySparkshell下使用Spark完成这个任务。PySpark的交互性显然比使用MapReduce更好。

首先保证已经安装PySpark。

1. 启动PySpark

PYSPARK_DRIVER_PYTHON=ipythonpyspark

2. 载入数据

a. 载入存储在HDFS上的数据

	fileA =sc.textFile("3-spark_join/input/join1_FileA.txt")
	fileB =sc.textFile("3-spark_join/input/join1_FileB.txt")

b. 检查数据已经载入

<span style="white-space:pre">	</span>fileA.collect()
	fileB.collect()

3. Mapper函数

a. 分别为FileA和FileB编写mapper函数，把读入的数据分割为<key, value>

	def split_fileA(line):
  	    # split the input line in word and count on the comma
  	    key_value = line.split(",")
   	    # turn the count to an integer
  	    word    = key_value[0]
   	    count   = int(key_value[1])
	    return (word,count)

	def split_fileB(line):
   	    # split the input line into word, date and count_string
  	    key_value = line.split(",")
   	    key_in = key_value[0].split(" ")
   	    word = key_in[1]
   	    date = key_in[0]
   	    count_string = key_value[1]
            return (word, date + " " +count_string)

b. 可以用一个简单的数据检查函数

<span style="white-space:pre">	</span>test_line = "able,991"
<span style="white-space:pre">	</span>split_fileA(test_line)

c. 现在可以用在FileA和FileB上了

<span style="white-space:pre">	</span>fileA_data =fileA.map(split_fileA)
        fileB_data= fileB.map(split_fileB)

d. 检查输出

<span style="white-space:pre">	</span>fileA_data.collect()
<span style="white-space:pre">	</span>fileB_data.collect()

e. 应该得到

<span style="white-space:pre">	</span>Out[]: [(u'able', 991), (u'about',11), (u'burger', 15), (u'actor', 22)]

<span style="white-space:pre">	</span>Out[]:
<span style="white-space:pre">	</span>[(u'able', u'Jan-01 5'),
 <span style="white-space:pre">	</span>(u'about', u'Feb-02 3'),
<span style="white-space:pre">	</span>(u'about', u'Mar-03 8 '),
 <span style="white-space:pre">	</span>(u'able', u'Apr-04 13'),
<span style="white-space:pre">	</span>(u'actor', u'Feb-22 3'),
<span style="white-space:pre">	</span>(u'burger', u'Feb-23 5'),
 <span style="white-space:pre">	</span>(u'burger', u'Mar-08 2'),
 <span style="white-space:pre">	</span>(u'able', u'Dec-15 100')]

4. Spark本身有join函数，可以把有相同key的两个数据集合并，如：(K, V)和(K, W)合并为(K,(V, W))

fileB_joined_fileA =fileB_data.join(fileA_data)

5. 检查结果

fileB_joined_fileA.collect()

应该得到：

Out[20]:
[(u'about', (u'Feb-02 3', 11)),
 (u'about', (u'Mar-03 8', 11)),
 (u'able', (u'Jan-01 5', 991)),
 (u'able', (u'Apr-04 13', 991)),
 (u'able', (u'Dec-15 100', 991)),
 (u'actor', (u'Feb-22 3', 22)),
 (u'burger', (u'Feb-23 5', 15)),
 (u'burger', (u'Mar-08 2', 15))]