u010108512的博客

https://blog.youkuaiyun.com/Athenaer/article/details/8203990 1、整体流程 整体流程如下： 1、运行mapred程序； 2、本次运行将生成一个Job，于是JobClient向JobTracker申请一个JobID以标识这个Job； 3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中。这些资源包括JAR包、配置...

1、官网下载安装包或者编译包： https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz 2、解压到安装目录-自定义目录，配置环境变量 3、安装java和scala； 4、运行安装目录下的spark-shell：这个入口是scala； 5、安装idea； 6、配置idea开发环境：...