<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[DataJunGe的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/DataJunGe</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; DataJunGe]]></copyright><item><title><![CDATA[vue中使用element绘制一个Ip输入框组件]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/125427245</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/125427245</guid><author>DataJunGe</author><pubDate>Thu, 23 Jun 2022 15:09:19 +0800</pubDate><description><![CDATA[使用element绘制一个Ip输入框组件]]></description><category></category></item><item><title><![CDATA[使用Git就记这几个命令]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/121425524</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/121425524</guid><author>DataJunGe</author><pubDate>Sun, 21 Nov 2021 22:59:30 +0800</pubDate><description><![CDATA[使用Git就记这几个命令
一、安装
1.在Linux上安装Git
如果用Debian或Ubuntu Linux，通过一条sudo apt-get install git就可以完成Git的安装。
老一点的Debian或Ubuntu Linux，要把命令改为sudo apt-get install git-core。
如果是其他Linux版本，可以直接通过源码安装。先从Git官网下载源码，然后解压，依次输入：./config，make，sudo make install这几个命令安装就好了。
2.在Mac OS]]></description><category></category></item><item><title><![CDATA[Spring Boot 注解大合集]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/113816213</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/113816213</guid><author>DataJunGe</author><pubDate>Mon, 15 Feb 2021 16:23:54 +0800</pubDate><description><![CDATA[Spring Boot 注解大合集
Lombok注解详解
下安装lombok插件

重启idea
在maven库中添加依赖
       &lt;dependency&gt;
        	&lt;groupId &gt;org.projectlombok&lt;/groupId&gt;
            &lt;artifactId&gt;lombok&lt;/artifactId&gt;
            &lt;version &gt;1.16.10&lt;/version&gt;
 ]]></description><category></category></item><item><title><![CDATA[教你认识ElasticSearch]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105449497</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105449497</guid><author>DataJunGe</author><pubDate>Sat, 11 Apr 2020 15:21:06 +0800</pubDate><description><![CDATA[ElasticSearch
1.什么是RestFul
REST : 表现层状态转化(Representational State Transfer)，如果一个架构符合REST原则，就称它为 RESTful 架构风格。
资源: 所谓"资源"，就是网络上的一个实体，或者说是网络上的一个具体信息
表现层 :我们把"资源"具体呈现出来的形式，叫做它的"表现层"(Representation)。
状态转化(...]]></description><category></category></item><item><title><![CDATA[Azkaban任务调度的使用和概况]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105389094</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105389094</guid><author>DataJunGe</author><pubDate>Wed, 08 Apr 2020 16:03:15 +0800</pubDate><description><![CDATA[Azkaban 任务调度
官网地址：https://azkaban.github.io/
概述
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用jo...]]></description><category></category></item><item><title><![CDATA[Flink窗口]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105359658</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105359658</guid><author>DataJunGe</author><pubDate>Tue, 07 Apr 2020 11:39:43 +0800</pubDate><description><![CDATA[Flink窗口计算 / 流计算
参考：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/operators/windows.html
概述
窗口计算是流计算的核心，通过窗口将一个无线的数据流在时间轴上切分成有限大小的数据集-bucket，然后在对切分后的数据做计算。Flink根据流的特点将窗口计算分为两大类...]]></description><category></category></item><item><title><![CDATA[Flink状态以及故障容错]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105347070</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105347070</guid><author>DataJunGe</author><pubDate>Mon, 06 Apr 2020 17:40:51 +0800</pubDate><description><![CDATA[State &amp; Fault Tolerance
参考资料：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/state/
Flink状态使用
Flink中常见的状态大致分为了两类：Keyed State和Operator State.
Keyed State:Keyed State is alway...]]></description><category></category></item><item><title><![CDATA[Flink物理分区]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105346908</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105346908</guid><author>DataJunGe</author><pubDate>Mon, 06 Apr 2020 17:10:40 +0800</pubDate><description><![CDATA[Flink Physical partitioning（物理分区）
Rebalancing (Round-robin partitioning) 默认策略
轮询，会将数据轮询发送给下游任务
val fsEnv = StreamExecutionEnvironment.getExecutionEnvironment
fsEnv.socketTextStream("HadoopNode00",9999...]]></description><category></category></item><item><title><![CDATA[Flink代码架构]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105346186</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105346186</guid><author>DataJunGe</author><pubDate>Mon, 06 Apr 2020 17:03:10 +0800</pubDate><description><![CDATA[Flink代码架构篇
Quick Start

maven 依赖

&lt;dependencies&gt;
    &lt;dependency&gt;
        &lt;groupId&gt;org.apache.flink&lt;/groupId&gt;
        &lt;artifactId&gt;flink-clients_2.11&lt;/artifactId&gt;
  ...]]></description><category></category></item><item><title><![CDATA[Flink概况及搭建]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105344905</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105344905</guid><author>DataJunGe</author><pubDate>Mon, 06 Apr 2020 15:58:23 +0800</pubDate><description><![CDATA[Flink概况及搭建
Flink发展史
第一代大数据处理方案：2006年Hadoop的MapReduce-批/HDFS, 2014年9月份 apache Storm-流
第二代大数据处理方案：2014年2 Spark RDD -批处理 ，DStream - 流 （批模拟流 ）延迟高
第三代大数据处理方案：2014年12 Flink DataStream-流，Dataset- 批 吞吐量高，低延迟特...]]></description><category></category></item><item><title><![CDATA[Linux的使用以及常用的命令]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105203582</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105203582</guid><author>DataJunGe</author><pubDate>Tue, 31 Mar 2020 14:47:31 +0800</pubDate><description><![CDATA[Linux的使用以及常用的命令
概述
Linux的历史
操作系统，英语Operating System简称为OS。说道操作系统就需要先讲一讲Unix，UNIX操作系统，是一个强大的多用户、多任务操作系统，支持多种处理器架构，按照操作系统的分类，属于分时操作系统，最早由KenThompson、Dennis Ritchie和Douglas McIlroy于1969年在AT&amp;T的贝尔实验室开发。...]]></description><category></category></item><item><title><![CDATA[Hadoop全部，秒变大神]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/105050889</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/105050889</guid><author>DataJunGe</author><pubDate>Tue, 24 Mar 2020 15:43:35 +0800</pubDate><description><![CDATA[Hadoop
概况
https://blog.youkuaiyun.com/u012926411/article/details/82756100
Hadoop： 适合大数据的分布式存储和计算平台
Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储和计算平台。
Hadoop...]]></description><category></category></item><item><title><![CDATA[ZooKeeper的全部,从小白到精通]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104994481</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104994481</guid><author>DataJunGe</author><pubDate>Fri, 20 Mar 2020 18:30:27 +0800</pubDate><description><![CDATA[ZooKeeper学习
概述
ZooKeeper是一个分布式应用所涉及的分布式的、开源的协调服务。
是Google的Chubby的开源实现
Zookeeper最早起源于雅虎的研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型的系统需要依赖一个类似的系统进行分布式协调，但是这些系统往往存在分布式单点问题。所以雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架。在立项初期，考虑到...]]></description><category></category></item><item><title><![CDATA[Spark Structured Streaming]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104989021</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104989021</guid><author>DataJunGe</author><pubDate>Fri, 20 Mar 2020 14:58:20 +0800</pubDate><description><![CDATA[Spark Structured Streaming
概述
http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html
Structured Streaming构建在Spark SQL基础之上的一个可靠且容错的流数据处理引擎。
简短来说，Structured Streaming提供快速、可靠、容错、...]]></description><category></category></item><item><title><![CDATA[Spark SQL学习和使用]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104971959</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104971959</guid><author>DataJunGe</author><pubDate>Thu, 19 Mar 2020 17:55:56 +0800</pubDate><description><![CDATA[Spark SQL学习和使用
概述
SQL：类似于Hive，数据仓库（Data WareHourse）工具，简化Spark应用开发
http://spark.apache.org/docs/latest/sql-programming-guide.html
Spark SQL是Spark中一个模块，用以对结构化数据进行处理。SparkSQL在RDD之上抽象出来Dataset/Dataframe 这...]]></description><category></category></item><item><title><![CDATA[Spark Streaming窗口]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104962920</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104962920</guid><author>DataJunGe</author><pubDate>Thu, 19 Mar 2020 11:13:28 +0800</pubDate><description><![CDATA[Spark Streaming窗口


以上的图描述的是一个滑动（sliding）窗口:

window size:  3个时间单位
slide interval： 2个时间时间

Tumbling(翻滚)窗口

Sliding(滑动)窗口

窗口操作函数
countByWindow(windowLength, slideInterval)
统计每一个窗口中，元素的个数
// 必须设置检查点目录
...]]></description><category></category></item><item><title><![CDATA[Spark Streaming算子操作]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104962525</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104962525</guid><author>DataJunGe</author><pubDate>Thu, 19 Mar 2020 11:03:33 +0800</pubDate><description><![CDATA[Spark算子操作
转换算子
类似于RDD，DStream允许进行相应的转换操作，并且大多数的转换操作类似于RDD
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * spark...]]></description><category></category></item><item><title><![CDATA[Spark Streaming概述]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104962434</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104962434</guid><author>DataJunGe</author><pubDate>Thu, 19 Mar 2020 10:51:32 +0800</pubDate><description><![CDATA[Spark Streaming概述
概述
http://spark.apache.org/docs/latest/streaming-programming-guide.html
Spark Streaming是Spark Core扩展（RDD），可以对实时流数据进行可靠、高吞吐、容错的流数据处理。

① 构建数据源： Spark Streaming在计算时，输入数据（数据源Sources）可以有...]]></description><category></category></item><item><title><![CDATA[Spark Core之RDD原理和共享变量]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104945560</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104945560</guid><author>DataJunGe</author><pubDate>Wed, 18 Mar 2020 16:22:35 +0800</pubDate><description><![CDATA[Spark Core之RDD原理
RDD（Resilent Distrutbed DataSet）： 弹性分布式数据集，是Spark中最为核心的抽象，代表一个不可变，可分区，支持并行计算的数据集合。
RDD的创建
通过Scala（Seq）集合
import org.apache.spark.{SparkConf, SparkContext}

object CreateRDDWithCollect...]]></description><category></category></item><item><title><![CDATA[Spark架构]]></title><link>https://blog.youkuaiyun.com/DataJunGe/article/details/104945238</link><guid>https://blog.youkuaiyun.com/DataJunGe/article/details/104945238</guid><author>DataJunGe</author><pubDate>Wed, 18 Mar 2020 15:20:04 +0800</pubDate><description><![CDATA[Spark架构



MapReduceOnYarn(回顾)
工作步骤

第一步：在ClientNode上，初始化JVM容器（RunJar），运行MapReduce应用，然后实例化Job对象
第二步：将Job对象，注册到Yarn集群的ResourceManager之上，返回一个ApplicationId
第三步：将Job对象的资源（任务的jar、配置文件、计算的数据切片信息等）提交到一个共享的文件...]]></description><category></category></item></channel></rss>