这里是我自己总结的简单的描述:
Configuration conf = new Configuration();
// conf.set("mapreduce.framework.name", "yarn");
// conf.set("yarn.resoucemanager.hostname", "hadoop");
Job job = Job.getInstance(conf);
//将客户端的程序 打成jar 获取jar所在的路径 (指定本程序jar包所在的本地路径)
job.setJarByClass(FlowCount.class);
//指定本业务Job要使用的mapper reducer业务类
job.setMapperClass(FlowCountMapper.class);
job.setReducerClass(FlowCountReducer.class);
....
接下来的整体逻辑
1.Job.waitForComPletion()—->job.submit()
Job.submit()里面有一个JobSubmiter ,它里面有一个成员是Cluster ,它里面有一个成员是proxy(动态代理)它可以提交给YarnRunner 或者是本地的LocalJobRunner
接着他们
1. 获取 StagingDIR 如果提交到本地目录是:file://……./. Staging 提交到yarn的目录是:hdfs://……./. Staging
2. 获取jobID与上面的拼接成一个job资源提交路径file://……./. Staging/jobid或者hdfs://……./. Staging/jobid
3. 处理切片规则
调用FileInputFormat.getSpilts()获取切片规划List《FileSpilt》
FileSpilt 序列化成文件 job.spilt(将文件拷贝到job资源提交的路径中去)
4. 将job相关参数写到一个文件 job.xml (将文件拷贝到job资源提交的路径中去)
5. 获取job的jar包 (将文件拷贝到job资源提交的路径中去)