<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[yimeng1994的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/yimeng1994</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yimeng1994]]></copyright><item><title><![CDATA[job提交文字叙述]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/96444758</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/96444758</guid><author>yimeng1994</author><pubDate>Thu, 18 Jul 2019 18:57:52 +0800</pubDate><description><![CDATA[1.客户端向resourcemanager提交job请求，申请资源
2.resourcemanager向客户端返回一个 job_id以及共享资源路径hdfs/tmp
3.客户端将共享资源放在共享资源路径下
4.客户端向resourcemanager返回共享资源放置成功的响应，真正开始提交一样程序
5.resourcemanager向客户端返回一个节点，运行mrappmaster  nodemana...]]></description><category></category></item><item><title><![CDATA[spark执行流程]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/96166945</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/96166945</guid><author>yimeng1994</author><pubDate>Tue, 16 Jul 2019 18:46:00 +0800</pubDate><description><![CDATA[Spark运行流程 
看任何东西都是(知其然,再知其所以然), 我会先简单的介绍流程, 让初学者有个大概的概念,
其中有...]]></description><category></category></item><item><title><![CDATA[分批次批量提交数据]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/95661586</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/95661586</guid><author>yimeng1994</author><pubDate>Fri, 12 Jul 2019 21:05:55 +0800</pubDate><description><![CDATA[​    一个 MapReduce 任务只能包含一次 Map 和一次 Reduce,一个Spark 任务并不止包含一个Map 和
一个Reduce，而是由一系列的Map、Reduce构成。这样，计算的中间结果可以高效地转给下一个计算步
骤，提高算法性能
Spark中最核心的概念是RDD(弹性分布式数据集),分布式数据集可以在不同的并行环境当中被重复使用,

MapReduce这些并行计算大都是基于...]]></description><category></category></item><item><title><![CDATA[Spark job提交]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/95661008</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/95661008</guid><author>yimeng1994</author><pubDate>Fri, 12 Jul 2019 21:00:47 +0800</pubDate><description><![CDATA[本文基于spark2.111. 前言1.1 基本概念RDD关于RDD已经有很多文章了，可以参考一下理解...]]></description><category></category></item><item><title><![CDATA[热门商品求top3]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/95660513</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/95660513</guid><author>yimeng1994</author><pubDate>Fri, 12 Jul 2019 20:58:02 +0800</pubDate><description><![CDATA[Spark 1.4.x版本以后，为Spark SQL和DataFrame引入了开窗函数，比如最经典，最常用的，row_number()，可以让我们实现分组取topn的逻辑。
案例：统计每个种类的销售额排名前3的产品java版本package cn.spark.study.sql;  import org.apache.spark.SparkConf;import org.apache.spark....]]></description><category></category></item><item><title><![CDATA[Spark Stage 划分原理]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/94832472</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/94832472</guid><author>yimeng1994</author><pubDate>Sat, 06 Jul 2019 09:40:26 +0800</pubDate><description><![CDATA[RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。Spark中的Stage其实就是一组并行的任务，任务...]]></description><category></category></item><item><title><![CDATA[Statement和pepareStatement区别，用法]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/93305893</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/93305893</guid><author>yimeng1994</author><pubDate>Sat, 22 Jun 2019 10:40:35 +0800</pubDate><description><![CDATA[转自：http://blog.youkuaiyun.com/QH_JAVA/article/details/48245945
一、prepareStatement 的用法和解释
1.PreparedStatement是预编译的,对于批量处理可以大大提高效率. 也叫JDBC...]]></description><category></category></item><item><title><![CDATA[单例模式之懒汉式与饿汉式]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/91617864</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/91617864</guid><author>yimeng1994</author><pubDate>Wed, 12 Jun 2019 20:45:23 +0800</pubDate><description><![CDATA[单例模式
所谓单例模式，就是保证类在内存中只有一个对象
而如何保证类在内存中只有一个对象？
思考一下，我们平时在实例化类的对象时，基本都是通过new 的方式来实例化一个对象，其实说白了，就是调用了需要实例化类的默认的构造方法，所以为了保证类只有一个对象，我们需要将...]]></description><category></category></item><item><title><![CDATA[scala伴生类与伴生对象分析]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/91614852</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/91614852</guid><author>yimeng1994</author><pubDate>Wed, 12 Jun 2019 20:32:38 +0800</pubDate><description><![CDATA[object AccompanyObject {  def main(args: Array[String]): Unit = {     println(ScalaPerson.sex)  //true 在底层等价于 ScalaPerson$.MODULE$.s...]]></description><category></category></item><item><title><![CDATA[用户画像分析]]></title><link>https://blog.youkuaiyun.com/yimeng1994/article/details/91489163</link><guid>https://blog.youkuaiyun.com/yimeng1994/article/details/91489163</guid><author>yimeng1994</author><pubDate>Wed, 12 Jun 2019 09:04:46 +0800</pubDate><description><![CDATA[版权声明：本文为博主原创文章，未经博主允许不得转载。违者必究，究也没用！          https://blog.youkuaiyun.com/young_0609/article/details/84957956        &lt;/div&gt;
        &lt;link rel="stylesheet" href="https://csdnim...]]></description><category></category></item></channel></rss>