m0_64662164的博客

将结果写入result文件中，repartition(1)的作用是让结果合并到一个文件中，不加的话会结果写入到两个文件。先在cd/export/servsers/spark目录下分别编辑并创建一个A.txt和一个B.txt文件。对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。初始化SparkContext。小明的电脑上有一个本地文件。的合文件，并且去重后的结果。请根据给定的实验数据，在。我们的环境中有这个文件。6.各门课程的平均分。

tar-zxvfjdk-8u161-linux-x64.tar.gz-Ctar是linux的解压命令，-zxvf是使用的最高权限进行操作，jdk-8u161-linux-x64.tar.gz是需要解压的jdk压缩包。-C是指定目录的操作/export/servers/是解压文件的路径，将文件解压到这个位置。运行到这样，我们的第一个实验题基本上就结束了，这个题在练习上是21分，但是主要是为了我们编辑spark代码做基础的，有了这个我们才能进行scala代码的编写，scala程序的执行。