sql_python的博客

Job的提交 任何一个行动算子，都会执行：runJob() val results = sc.runJob() runJob()在DAGScheduler类中 1. 提交job，是一个阻塞线程 val waiter = submitJob(rdd, func, partitions, callSite, resultHandler, properties) //742 2. submitJob中： val jobId = nextJobId.getAndIncrement() //生成JobId，

Submit流程(yarn) #执行提交命令： bin/spark-submit --master yarn --deploy-mode cluster --class com.Tencent.spark.WordCount /opt/module/spark-standalone/bin/spark-1.0-SNAPSHOT.jar hdfs://hadoop:9820/input 执行脚本实际是执行： bin/spark-class org.apache.spark.dep

Hive中 Order by，Sort by, Distribute by, Cluster by详解 本文的数据基础： empno ename job mgr hiredate sal comm deptno 工号 姓名 职位 老板工号 雇佣日期 工资 不重要 部门编号 初始计算引擎为tez，而不是默认的MR。 1.Order by order by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。 2.Sort by Hive基于Hadoop集群，Sort by为每

MapReduce整体源码解析： 前言：本文章分析的源码基于Hadoop 3.1.3，主要是针对MR流程过一遍源码，源码的详细解释只涉及一些重要部分，鉴于水平有限，免不了有些说明不够正确，欢迎各位大佬指正。 废话不多说，开搞！ job提交流程： 1. waitForCompletion()提交，进入submit方法，通过connnet方法获取当前job需要执行到本地还是Yarn //1.waitForCompletion后，进入到job.java中，源码1587行 if (state == JobState