<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wang_ze_ma的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wang_ze_ma</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wang_ze_ma]]></copyright><item><title><![CDATA[Flink TTL]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107764365</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107764365</guid><author>wang_ze_ma</author><pubDate>Mon, 03 Aug 2020 15:20:20 +0800</pubDate><description><![CDATA[什么是TTL?
​	我们都知道，状态是不断累积的，占用的空间也就不断增大，对于作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句，以及执行了没有时间窗口限制的双流 JOIN 等等操作，就容易出现OOM
​
如何解决？
​	Flink引入了TTL特性，作用就是对作业中的state进行清理，并设置了好几种清理模式
如何使用？
官网示例
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apach]]></description><category></category></item><item><title><![CDATA[State 操作]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107673144</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107673144</guid><author>wang_ze_ma</author><pubDate>Wed, 29 Jul 2020 19:20:13 +0800</pubDate><description><![CDATA[State  操作
关于State的概念在理论篇已经讲过，本篇文章着重讲的是State的实战
主要围绕这两部分

State的各种种类的使用
state数据清理

Keyed State
前提条件:keyed state只作用在keyedStream
Keyed State种类

ValueState
ListState
ReducingState
AggregatingState
MapState

通性:


必须创建StateDescriptor来得到对应的状态句柄


所有类型的状态都有clear(]]></description><category></category></item><item><title><![CDATA[Stream API开发指南之EventTime &Watermark]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107668870</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107668870</guid><author>wang_ze_ma</author><pubDate>Wed, 29 Jul 2020 16:34:45 +0800</pubDate><description><![CDATA[Event Time
使用Event Time首先要设置Time Characteristic
env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

watermark

生成水印的两大类

直接在数据源端产生
通过时间戳分配和water 生成器产生


示例代码(数据源端产生)

override def run(ctx: SourceContext[MyType]): Unit = {
	while (/* condit]]></description><category></category></item><item><title><![CDATA[Hadoop常见场景]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107648408</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107648408</guid><author>wang_ze_ma</author><pubDate>Tue, 28 Jul 2020 23:15:41 +0800</pubDate><description><![CDATA[本篇文章主要列举一些Hadoop常用场景
​	主要是以下几种
​	高可用集群
​	节点新增/减少/拉黑
​	HDFS数据迁移
​	大量小文件存储
​
高可用集群
​	一句话概括  双namenode消除单点故障
​	过程：
​		对active Namenode进行的任何操作，都会同步到共享存储设备(从NAS NSF挂载)到一个目录，备用节点会监控共享存储设备，发现更改同步到自身，发生故障时进行切换

Hadoop节点上下线
上线


首先在slave配置中新加节点并且保证dfs.exclude文件为空

]]></description><category></category></item><item><title><![CDATA[HDFS原理剖析]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107593286</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107593286</guid><author>wang_ze_ma</author><pubDate>Sun, 26 Jul 2020 14:32:53 +0800</pubDate><description><![CDATA[HDFS原理剖析
前言
​		在上一章讲述了Hadoop的基础架构以及所担负的功能，这一章深入剖析背后的基本原理
疑问
​	依旧首先是提出几个问题，带着问题去思考HDFS底层架构

HDFS是一个分布式结构，节点间如何沟通，如何判断节点挂了？
HDFS重要的功能就是读写，具体的流程是什么？这也是面试常考的点
节点挂了是如何恢复的？

HDFS核心
​	心跳机制

什么是心跳机制？

简而言之心跳机制就等于员工定时向领导汇报


为什么需要心跳机制？

因为Master需要分配任务给slave，但需要确定sl]]></description><category></category></item><item><title><![CDATA[HDFS功能介绍]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107587776</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107587776</guid><author>wang_ze_ma</author><pubDate>Sun, 26 Jul 2020 00:20:40 +0800</pubDate><description><![CDATA[思考

​	如何设计HDFS?

首先明白HDFS是干嘛的？简单来说就是存数据的，所以有以下几点势必需要注意

首先要能存大规模数据，TB级甚至PB级
分布式系统容易出现故障，出现故障如何快速处理？
一致性如何做的？这也是分布式系统的顽疾




Hadoop是如何做的？

大文件被切分成block，将block存储在不同节点上，同时通过Namenode存储文件对应block信息
block做数据冗余，并且均衡分布在不同节点中，这样最大程度保证挂掉可以随时恢复



HDFS架构
​	
​	架构:主从架构
]]></description><category></category></item><item><title><![CDATA[Hadoop初探]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107587752</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107587752</guid><author>wang_ze_ma</author><pubDate>Sun, 26 Jul 2020 00:16:21 +0800</pubDate><description><![CDATA[Hadoop简述
什么是Hadoop
​	一句话概括:Hadoop提供海量数据进分布式处理(也就是存储和计算)，存储依靠HDFS,计算依靠MapReduce
​	Hadoop的核心组件包括:

​	Common  基础功能组件，包含工具包和RPC框架，这个不难理解，Hadoop是一个分布式计算平台，自然  需要不同节点之间的通信
​    HDFS   分布式文件系统，起存储作用
​    YARN   资源调度系统
​    MapReduce   分布式运算编程框架

Hadoop发行版本
​	Apac]]></description><category></category></item><item><title><![CDATA[小白学习hadoop之 什么是Hadoop]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107578971</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107578971</guid><author>wang_ze_ma</author><pubDate>Sat, 25 Jul 2020 15:03:46 +0800</pubDate><description><![CDATA[Hadoop简述
什么是Hadoop
​	一句话概括:Hadoop提供海量数据进分布式处理(也就是存储和计算)，存储依靠HDFS,计算依靠MapReduce
​	Hadoop的核心组件包括:

​	Common  基础功能组件，包含工具包和RPC框架，这个不难理解，Hadoop是一个分布式计算平台，自然  需要不同节点之间的通信
​    HDFS   分布式文件系统，起存储作用
​    YARN   资源调度系统
​    MapReduce   分布式运算编程框架

Hadoop发行版本
​	Apac]]></description><category></category></item><item><title><![CDATA[Hadoop集群搭建]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107551101</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107551101</guid><author>wang_ze_ma</author><pubDate>Fri, 24 Jul 2020 00:09:43 +0800</pubDate><description><![CDATA[Hadoop分布式集群搭建
前言

Hadoop集群种类

伪分布式，单机只能搭建伪分布式，不推荐
分布式   推荐搭建
高可用  企业必选，保证机器挂了能够切换
联邦集群  节点超级多，才会考虑，适用于一线厂



资源划分




节点
HDFS
Yarn




data002
Namenode +SecondaryNamenode
ResourceManager


data003
DataNode
NodeManager


data004
DataNode
NodeManager


​		注意]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第五篇(任务提交流程简述)]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107526805</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107526805</guid><author>wang_ze_ma</author><pubDate>Thu, 23 Jul 2020 00:47:03 +0800</pubDate><description><![CDATA[回顾
在开始讲本篇内容之前，先回忆一下上篇文章讲了什么，主要讲了以下几点

Runtime架构组件介绍
Task  operator chain、slot的介绍，理清了TaskManager、task slot 、task operator chain之间的关系

那么自然而然的事情，讲完了基本组成，就要抛出一个主要的问题了，用村上春树的书名来表达的话就是----当你提交任务后，Flink做了什么？
部署方式
引子
​	重要的事情说三遍。Flink架构主要做的是什么呢？
​		资源和任务的匹配，即算子本地化]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第四篇(架构)]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107501965</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107501965</guid><author>wang_ze_ma</author><pubDate>Wed, 22 Jul 2020 00:01:01 +0800</pubDate><description><![CDATA[如图所示，为Flink计算框架架构，在这里的架构指的就是Runtime  部分，也就是Flink core


​	观察上图，我们不妨猜一下Runtime的作用有哪些？


提出疑问

Runtime夹在资源调度和上层计算处理之间，必定存在交互，核心逻辑就是为上层Task分配底层的资源
既然这样，就牵扯到任务的调度，资源的分配，以及首先得提交任务
似乎就是这样，但我们需要考虑到容错性，也就是Task挂掉或者fail了怎么办？显然Runtime层需要实现此逻辑



Runtime层组件介绍


JobMa.]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列–第三篇(概念)之state]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107479303</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107479303</guid><author>wang_ze_ma</author><pubDate>Tue, 21 Jul 2020 01:16:37 +0800</pubDate><description><![CDATA[State概念
Flink state是一个非常重要的概念，但却有点抽象难以理解，State是个什么玩意？
​	继续要和流式数据扯上了。state状态指的就是进行每一个operator的中间结果存储。还不懂？举一个例子

无状态:假设有一个数组[a,b,c],对数据进行+1操作，结果为[a+1,b+1,c+1]，b输出的结果受A的影响吗？显然是不受，也就是多次重放值是一样的
有状态的，其实就是数据之间是有关系的，算子作用在数据上，输出的结果和之前的状态有关。

State存储方式
在上文中说到，state状]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第三篇(概念)之Trigger]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107454518</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107454518</guid><author>wang_ze_ma</author><pubDate>Mon, 20 Jul 2020 00:16:51 +0800</pubDate><description><![CDATA[Trigger
什么是Trigger?
翻译过来中文意思是触发器，显然这个解释是懵逼的，读者肯定有以下疑问，
触发什么？什么时候触发？为什么需要触发器？带着疑问我们来学习Flink
Trigger详解


Trigger是干嘛的呢？

读者在理解trigger的时候，一定要和watermark以及window联系起来，上节讲到watermark的语义是表示后来到达的数据再也没有小于这个时间了，window机制决定了对数据进行离散化，也就是决定数据属于哪一个窗口，watermark+windows用于处理数据]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第三篇(概念)之Watermark]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107444802</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107444802</guid><author>wang_ze_ma</author><pubDate>Sun, 19 Jul 2020 14:24:15 +0800</pubDate><description><![CDATA[watermark
什么是watermark?
watermark中文译为水位线，听到这里大家可能就懵逼了，水位线是什么东西？莫慌，听我一一道来
watermark出现原因
在上一节我们说过，processing Time使用的是本地时间节点，所以每一次取到的都是递增有序的，而对于Event Time呢，是事件创建的时间，时间和记录是绑定的。那么问题就来了，由于网络等原因，数据可能会存在乱序，比如前一条数据被堵住，而后一条数据发送成功。如下图所示：
理想的情况下是这样的:

而由于网络等原因，部分数据存在延]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第三篇(概念)之Time]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107440727</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107440727</guid><author>wang_ze_ma</author><pubDate>Sun, 19 Jul 2020 09:25:46 +0800</pubDate><description><![CDATA[Time的重要性
Flink API总体上划分为3个层次，都一层都需要依赖时间属性，Time是流处理系统的基石之一，不仅在Flink ,在Spark也是如此

Time分类

Event Time

数据世界的时间，也就是事件创建的事件。根据每一条处理记录携带的时间戳来判定


Processing Time

是模拟真实世界的时间，简而言之，可以理解为本地系统时间，也是Flink默认的时间属性，通过直接调用本地机器时间获取


Ingestion Time

数据进入Flink的时间




如何选择
F]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第二篇-02(流式数据模型)]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107429031</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107429031</guid><author>wang_ze_ma</author><pubDate>Sat, 18 Jul 2020 15:08:30 +0800</pubDate><description><![CDATA[The world beyond batch: Streaming 102

原文作者：Tyler Akidau
译者： 董捷

简介
欢迎回来！如果你错过了前一篇博文，The world beyond batch: Streaming 101，我强烈建议先花一点时间阅读第一篇博文。第一篇博文介绍了我接下来讲述的这篇博文的一些必要的基础，我假设本篇博文的读者已经熟悉了前一篇博文内介绍的名词与概念。
同时，请注意本篇博文里包含了许多动画，所以如果读者直接打印的话将丢失一些精华内容。
免责申明说完了，让Part]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第二篇-01(流式数据概念)]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107428662</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107428662</guid><author>wang_ze_ma</author><pubDate>Sat, 18 Jul 2020 14:46:39 +0800</pubDate><description><![CDATA[导读
要想彻底理解Flink，就要了解流数据的前世今生，流数据的语义、特点，以及如何处理，以下文章就能很好的解释流数据的概念和模型，对了解Flink有很大的帮助
前言
今天流式数据处理在大数据领域是一件大事，理由如下：
1、企业渴望更加及时的数据，而且采用流式处理是降低延迟的很好的办法。
2、在现代企业中大的且无界的（ unbounded）数据集变得更加普遍，且这些数据更容易被一个针对无界数据设计的系统所使用。
随着时间的推移，和数据到达pipeline，数据处理的工作负载将更均匀地分布，从而产生更一致和可]]></description><category></category></item><item><title><![CDATA[小白学习Flink系列--第一篇(知识图谱)]]></title><link>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107420852</link><guid>https://blog.youkuaiyun.com/wang_ze_ma/article/details/107420852</guid><author>wang_ze_ma</author><pubDate>Sat, 18 Jul 2020 00:36:09 +0800</pubDate><description><![CDATA[小白学习Flink系列–第一篇(知识图谱)
如何学习Flink?
​	对于一门计算机技术来说，如何快速学习上手呢？具体的逻辑是什么呢？我认为有以下几条

了解技术的应用场景
技术的基本概念，如何使用，以及如何部署(针对大数据组件而言)
技术的功能特点
技术源码，优缺点


知识图谱详解
核心概念


Flink的核心概念实际上是流式处理的概念，对于流式数据来说最重要的就是时间


Time类型

Processing Time
Event Time
Ingestion Time



Watermark  ]]></description><category></category></item></channel></rss>