<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Spark技术咖的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lovechendongxing</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lovechendongxing]]></copyright><item><title><![CDATA[【秒懂StructuredStreaming】手把手教你写StructuredStreaming + Kafka程序]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748553</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748553</guid><author>lovechendongxing</author><pubDate>Thu, 16 Aug 2018 20:53:01 +0800</pubDate><description><![CDATA[上一篇博客《StructuredStreaming是何方神圣》已经介绍了StructuredStreaming的相关概念，这篇博客我们介绍基于StructuredStreaming进行实时流算子开发，并将结果输出到kafka中。

   StructuredStreaming使用的数据类型是DataFrame和Dataset。

  从Spark 2.0开始，DataFra...]]></description><category></category></item><item><title><![CDATA[【秒懂StructuredStreaming】StructuredStreaming是何方神圣]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748237</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748237</guid><author>lovechendongxing</author><pubDate>Thu, 16 Aug 2018 20:39:05 +0800</pubDate><description><![CDATA[目录

一、为何要有StructuredStreaming

二、StructuredStreaming的特性

1、结构化流式处理

2、基于Event-Time聚合&amp;amp;延迟数据处理

3、容错性

Structured Streaming是Spark新提出的一种实时流的框架，以前是Spark Streaming。那么这两者有什么区别呢，为什么有了Spark Streaming，还要提出S...]]></description><category></category></item><item><title><![CDATA[Spark作业提交到集群执行详解]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748004</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81748004</guid><author>lovechendongxing</author><pubDate>Thu, 16 Aug 2018 20:15:20 +0800</pubDate><description><![CDATA[Spark作业提交到集群的命令格式如下


./bin/spark-submit \
  --class &amp;lt;main-class&amp;gt; \
  --master &amp;lt;master-url&amp;gt; \
  --deploy-mode &amp;lt;deploy-mode&amp;gt; \
  --conf &amp;lt;key&amp;gt;=&amp;lt;value&amp;gt; \
  ... # other optio...]]></description><category></category></item><item><title><![CDATA[Spark运行原理【史上最详细】]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81746988</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81746988</guid><author>lovechendongxing</author><pubDate>Thu, 16 Aug 2018 19:00:42 +0800</pubDate><description><![CDATA[Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。

1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等）

2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor

3、SparkContext...]]></description><category></category></item><item><title><![CDATA[Spark相关技术精华贴URL集锦]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81664483</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81664483</guid><author>lovechendongxing</author><pubDate>Tue, 14 Aug 2018 11:57:17 +0800</pubDate><description><![CDATA[Hadoop2.7.3+Spark2.1.0 standalone完全分布式集群搭建过程：https://www.cnblogs.com/zengxiaoliang/p/6478859.html

Spark运行原理剖析：http://www.sohu.com/a/217196727_100065429

配置Log4j(很详细)：https://blog.youkuaiyun.com/azheng270/a...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】1-必备技能总概]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81120030</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81120030</guid><author>lovechendongxing</author><pubDate>Thu, 19 Jul 2018 17:54:19 +0800</pubDate><description><![CDATA[基于Java语言的Spark算子开发，只需要学习如下内容，就可以着手开发啦！！！

技能
			用途
			优先级
			学习教程
			学习内容
		Spark生态圈
			介绍Spark提供的离线和实时处理技术
			选修
			《Spark生态圈》
			了解Spark的分布式计算能力，便于实际场景的技术选型
		
			运行环境配置
			
			
			JDK、IDEA和Maven必须安...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】8-App安装量算子开发示例(DataFrame)]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119507</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119507</guid><author>lovechendongxing</author><pubDate>Thu, 19 Jul 2018 17:27:47 +0800</pubDate><description><![CDATA[目录

1、创建Maven工程

2、引入Spark依赖包

​、创建本地测试文件

4、编写spark代码

5、运行程序，得出结果

6、作业提交到集群运行

1、创建Maven工程

    IDEA中，新建Maven工程，用于项目依赖包管理和项目构建等

    

2、引入Spark依赖包

    配置pom.xml文件，引入maven中心仓库地址、新增Spark依赖包配置和任务的构建...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】7-WordCount算子开发示例(RDD)]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119451</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119451</guid><author>lovechendongxing</author><pubDate>Thu, 19 Jul 2018 17:26:04 +0800</pubDate><description><![CDATA[目录

1、创建Maven工程

2、引入Spark依赖包

3、创建本地测试文件

4、编写spark代码

5、运行程序，得出结果

6、作业提交到集群运行

1、创建Maven工程

    IDEA中，新建Maven工程，用于项目依赖包管理和项目构建等

    

2、引入Spark依赖包

    配置pom.xml文件，引入maven中心仓库地址、新增Spark依赖包配置和任务的构建...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】6-4-RDD/Dataset/DataFrame-Dataset常用方法]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119140</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119140</guid><author>lovechendongxing</author><pubDate>Thu, 19 Jul 2018 17:14:09 +0800</pubDate><description><![CDATA[目录

1、Dataset方法综述

2、Dataset创建

3、Encoder类创建

4、Dataset方法

5、Dataset转RDD

1、Dataset方法综述

    Dataset是从Spark 1.6开始引入的一个新的数据类型，当时还是处于alpha版本；然而在Spark 2.0，它已经变成稳定版了。

    Dataset存储的是强类型的数据（如Dataset&amp;lt;St...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】6-3-RDD/Dataset/DataFrame-DataFrame常用方法]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119048</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81119048</guid><author>lovechendongxing</author><pubDate>Thu, 19 Jul 2018 17:10:40 +0800</pubDate><description><![CDATA[目录

1、DataFrame方法综述

2、DataFrame的创建

3、类SQL方法

4、SQL语句查询 

5、与JDBC交互

6、DataFrame转Dataset

1、DataFrame方法综述

    a、提供类SQL的函数，如select、group、count、filter等，让用户方便对数据进行操作。Spark SQL 会将这些操作转化成RDD的操作，在Spark Co...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】6-2-RDD/Dataset/DataFrame-RDD常用方法]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104106</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104106</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:52:07 +0800</pubDate><description><![CDATA[目录

1、RDD方法综述

2、RDD创建

3、transformations转换方法

4、actions操作方法

5、RDD持久化方法

6、共享变量Broadcast和Accumulator

7、RDD转DataFrame

1、RDD方法综述

    a、RDD共包含两种计算方式，一种是transformations转换，一种是actions操作，每种计算方式包含一些常用的方法。...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】6-1-RDD/Datase/DataFrame-三者定义和关系]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104097</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104097</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:48:37 +0800</pubDate><description><![CDATA[目录

1、RDD是什么

2、Dataset是什么

3、DataFrame是什么

4、使用时候怎么选

5、三者的入口类

6、三者的转化

Spark共提供3种基本的数据类型，分别是Spark Core引擎对应的RDD，以及Spark SQL引擎对应的DataFrame 和 DataSet。



那么三种数据类型的定义是什么，他们有什么区别呢？

1、RDD是什么

分片的集合
    ...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】5-3-Maven项目管理-命令行管理Maven工程]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104024</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81104024</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:42:58 +0800</pubDate><description><![CDATA[常用的命令

    1、打包

        mvn package　　--生成压缩文件：java项目#jar包；web项目#war包，放在target目录下 

        

    2、清理

        mvn clean　　　 --删除target目录

    3、安装

　　mvn install　　　--将压缩文件(jar或者war)上传到本地仓库...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】5-2-Maven项目管理-新增依赖包配置]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103982</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103982</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:40:28 +0800</pubDate><description><![CDATA[目录

1、Maven中心储存库查询依赖包信息

2、修改pom.xml，新增依赖包配置

1、Maven中心储存库查询依赖包信息

    URL:http://mvnrepository.com

    a、比如想添加MySql JDBC的依赖jar包，可以搜索“MySql JDBC”，得到如下图

    

    b、点击进去，可以看到所有版本

    

    c、假设我们选择8...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】5-1-Maven项目管理-pom.xml配置项详解]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103907</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103907</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:37:58 +0800</pubDate><description><![CDATA[目录

1、项目坐标和信息描述

2、引入依赖的JAR包

    2.1、剔除想要排除的JAR包

3、构建项目

4、资源库

一个基本项目的pom.xml文件，通常至少包含以下4个部分：

1、项目坐标和信息描述

    项目坐标：
        指的是项目在maven资源库的坐标，通过 groupId + artifactId + version 进行表示。

        grou...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】4-2-IDEA工具使用-开启Terminal]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103887</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103887</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:32:55 +0800</pubDate><description><![CDATA[IDEA的Terminal可以进行命令行操作，常见的如git命令操作，maven命令操作等

    ]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】4-1-IDEA工具使用-创建Maven工程]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103854</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103854</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:31:33 +0800</pubDate><description><![CDATA[IDEA进行Maven工程的创建步骤如下：

1、选择 File-&amp;gt;New-&amp;gt;Project

    

2、选择左侧的Maven，然后关联工程对应的JDK，点击下一步

    

3、配置maven工程信息，点击Next

    

4、设置工程模块名和存放的位置，点击Finish，完成创建

    

5、完成后，得到如下图，可以看到，创建过程中配置的groupId、art...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】3-3-运行环境配置-Maven安装]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103819</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103819</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:29:05 +0800</pubDate><description><![CDATA[1、Maven是什么

    Maven是一个项目管理工具，采用项目对象模型（POM）来管理项目。

    所有的项目信息都被定义在一个 pom.xml 文件中，通过该文件进行项目依赖包的管理和项目构建等。

2、Windows下Maven的安装

    URL：http://maven.apache.org/download.cgi

    a、下载需要的安装包

    

    b...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】3-2-运行环境配置-IDEA安装]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103807</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103807</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:27:45 +0800</pubDate><description><![CDATA[1、IDEA是什么

    IDEA是主流的Java集成开发工具，它提供了一系列最实用的的工具组合：智能编码辅助和编码检查等。

    IDEA把Java开发人员从一些耗时的常规工作中解放出来，显著地 提高了开发效率。

2、IDEA安装

    URL: https://www.jetbrains.com/idea/download/#section=mac

    a、选择相应的mac...]]></description><category></category></item><item><title><![CDATA[【Spark开发必备技能】3-1-运行环境配置-JDK安装]]></title><link>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103731</link><guid>https://blog.youkuaiyun.com/lovechendongxing/article/details/81103731</guid><author>lovechendongxing</author><pubDate>Wed, 18 Jul 2018 19:22:08 +0800</pubDate><description><![CDATA[目录

1、Windows JDK安装

    1.1 下载JDK-1.8    

    1.2 双击安装

    1.3 环境变量配置 

    1.4 验证结果

2、Mac JDK安装

    2.1 下载JDK-1.8    

    2.2 双击开始安装

    2.3 JDK安装目录查看

    2.4 结果验证

3、Windows Hadoop环境配置

    ...]]></description><category></category></item></channel></rss>