<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sql_python的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sql_python</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sql_python]]></copyright><item><title><![CDATA[Spark Job提交的整体流程源码详解]]></title><link>https://blog.youkuaiyun.com/sql_python/article/details/108694891</link><guid>https://blog.youkuaiyun.com/sql_python/article/details/108694891</guid><author>sql_python</author><pubDate>Sun, 20 Sep 2020 16:33:29 +0800</pubDate><description><![CDATA[Job的提交
任何一个行动算子，都会执行：runJob()
val results = sc.runJob()
runJob()在DAGScheduler类中

1. 提交job，是一个阻塞线程
	val waiter = submitJob(rdd, func, partitions, callSite, resultHandler, properties) //742
2. submitJob中：
   val jobId = nextJobId.getAndIncrement() //生成JobId，]]></description><category></category></item><item><title><![CDATA[Spark Submit流程源码详解(on yarn)]]></title><link>https://blog.youkuaiyun.com/sql_python/article/details/108694674</link><guid>https://blog.youkuaiyun.com/sql_python/article/details/108694674</guid><author>sql_python</author><pubDate>Sun, 20 Sep 2020 16:30:56 +0800</pubDate><description><![CDATA[Submit流程(yarn)
 #执行提交命令：
 bin/spark-submit --master yarn
 --deploy-mode cluster    
 --class com.Tencent.spark.WordCount 
 /opt/module/spark-standalone/bin/spark-1.0-SNAPSHOT.jar hdfs://hadoop:9820/input
 
 执行脚本实际是执行：
  bin/spark-class org.apache.spark.dep]]></description><category></category></item><item><title><![CDATA[Hive中 Order by，Sort by,  Distribute by,  Cluster by详解]]></title><link>https://blog.youkuaiyun.com/sql_python/article/details/107703112</link><guid>https://blog.youkuaiyun.com/sql_python/article/details/107703112</guid><author>sql_python</author><pubDate>Thu, 30 Jul 2020 23:19:35 +0800</pubDate><description><![CDATA[Hive中 Order by，Sort by,  Distribute by,  Cluster by详解
本文的数据基础：





empno
ename
job
mgr
hiredate
sal
comm
deptno




工号
姓名
职位
老板工号
雇佣日期
工资
不重要
部门编号


初始计算引擎为tez，而不是默认的MR。
1.Order by
order by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。
2.Sort by
Hive基于Hadoop集群，Sort by为每]]></description><category></category></item><item><title><![CDATA[Hadoop中MapReduce整体源码解析]]></title><link>https://blog.youkuaiyun.com/sql_python/article/details/107602727</link><guid>https://blog.youkuaiyun.com/sql_python/article/details/107602727</guid><author>sql_python</author><pubDate>Mon, 27 Jul 2020 00:17:27 +0800</pubDate><description><![CDATA[MapReduce整体源码解析：
前言：本文章分析的源码基于Hadoop 3.1.3，主要是针对MR流程过一遍源码，源码的详细解释只涉及一些重要部分，鉴于水平有限，免不了有些说明不够正确，欢迎各位大佬指正。
废话不多说，开搞！
job提交流程：
1. waitForCompletion()提交，进入submit方法，通过connnet方法获取当前job需要执行到本地还是Yarn
//1.waitForCompletion后，进入到job.java中，源码1587行
if (state == JobState]]></description><category></category></item><item><title><![CDATA[Airbnb(爱彼迎）产品分析报告]]></title><link>https://blog.youkuaiyun.com/sql_python/article/details/100737871</link><guid>https://blog.youkuaiyun.com/sql_python/article/details/100737871</guid><author>sql_python</author><pubDate>Tue, 17 Sep 2019 23:44:43 +0800</pubDate><description><![CDATA[Airbnb(爱彼迎）产品分析报告
一、Airbnb背景
Airbnb成立于2008年，一家联系旅游人士和家有空房出租的房主的服务型网站，它可以为用户提供多样的住宿信息。用户可通过网络或手机应用程序发布、搜索度假房屋租赁信息并完成在线预定程序。

二、分析问题
Airbnb能发展得如此迅速，在业务运营方面必然有闪亮的地方，故分析目标：分析业务闪亮点，以及业务中还存在哪些不足。
在AARRRR模型中...]]></description><category></category></item></channel></rss>