lihengzkj的博客

Flink批流合一的介绍概况DataStream API支持不同的运行时执行模式，我们可以根据实际的需求和任务的特征来选择这些模式。STREAMING执行模式是DataStream API的“经典”执行行为，应该用于需要持续增量处理并预期无限期在线的无限作业。此外，还有一种批处理风格的执行模式，我们称之为 BATCH执行模式。 它以一种像批处理框架(如MapReduce)的方式执行作业。 这应用于已知有限的数据源输入并且不会连续运行的有界作业。Flink对流和批处理的统一方法意味着在有界输入上执行

Flink1.13发布新特性概要这个版本是一些永久性的更新，帮助用户更好理解Flink程序的性能。当我们的流处理的速度并不是我们希望看到的性能的时候，这些新特性能帮助我们找到原因：数据加载和背压图能帮助定位性能瓶颈所在, CPU火焰图可以定位哪些代码是程序中的热点代码，State Access Latencies可以查看状态的保存情况除了上述的特征，Flink社区还改进了系统的许多地方，其中有一些会在下面展示。主要功能点响应式伸缩响应式伸缩是Flink的最新功能，它使流处理应用程序和其他应用程序

Flink-1.13DataSteam编程概述Flink中常规的编程就是DataStream的不同转换(e.g. 过滤，更新状态，定义时间窗口，聚合)。数据流可以从不同的源创建(e.g. 消息队列，websocket,文件等)。结果可以通过多种渠道返回，可以写入文件，可以输出到不同的终端。Flink程序可以在多种上下文中运行，或者嵌入到其他的程序中运行。可以跑在本地的虚拟机上，也可以是在集群中。Flink编程的常规步骤获取一个执行环境加载或者创建初始的数据指定对数据做处理的函数e.g. man

使用Docker配置Flink1.12开发测试环境简单介绍Docker现在是开发界必不可少的工具，我们使用docker能够快速将自己的应用进行测试和打包。同时利用容器我们在软件开发中很容就实现了CI和CD的部署配置。当前Flink的官方的基础镜像都可以从docker hub中下载。不过docker hub在前一段时间对游客进行了限速，所以当你遇到下载速度很慢的时候请先使用docker login登录以后再使用docker pull来拉取镜像文件。使用Docker的镜像我们可以构建Session模式或

Flink1.12.3部署介绍FLink架构和组件介绍下面我们来介绍Flin集群的架构角色。Flink集群的初始角色是Flink的客户端client，client持有我们编写的代码，并会将代码翻译成JobGraph并提交给JobManagerJobManager分发任务给各个TaskManager，TaskManager是实际跑任务处理数据的地方，比如从source拉去数据，做MR操作，最后输出都是在TaskManager的工作任务中。当我们需要部署一个Flink集群时，有多个模式可选。我们首先来

阿里云最小代价快速搭建docker&compose环境介绍当前的基于容器的微服务开发在IT界已经是非常普遍的解决方案了。十个公司基本都是十个公司都在使用容器来构建自己的微服务架构，只是大家使用的方式，采用的架构可能有一些不同。当然作为一个出入门的菜鸟，首先以最小的代价来构建一个docker和compose的环境。我们来薅一次阿里云的羊毛，哈哈。准备首先你得有一个支付宝的账户，这年都没有支付宝的人太少了，不过如果你没有，赶紧注册一个。使用支付宝可以快速登录阿里云的官网充值150元，放心使

Gradle7.0 构建Flinkinstall gradledownload gradle解压到某个文件夹，并配置好环境变量GRADLE_HOME=/path/to/gradle/bin,并追加到系统变量path后面注意本地安装的JDK版本大于1.8执行gradle -version使用gradle初始化项目首先打开命令窗口，cd到指定位置，创建你的项目的根目录名称: e.g. md showdemo执行：gradle initSelect ty

Flink 1.12.2 主要配置文件详解本地启动集群的测试下载Flink1.12.2， 并解压配置好JAVA_HOME的机器上，到路径~/flink/bin本地启动：start-cluster.sh, 默认加载 ~/flink/conf/flink/flink-conf.yaml停止: stop-cluster.shflink-conf.yaml详解# Jobmanager的地址，taskmanager必须要识别并能连上。# 只有standalone的集群模式起作用，当执行bin/jo

Flink练习第一个欺诈实例(带时间范围)背景介绍上一个实例我们的核心计算逻辑是检测到同一账户上一个消费小于1元，下一个消费大于100元就定性为有欺诈嫌疑，作为初学者的练习已经领略了Flink状态的威力。本次的实例逻辑将加上时间的监控，我们把欺诈的规则略微做修改。如果同一个账户，在五分钟以内出现两笔交易，一笔小于1元，一笔大于100元，那么我们就人为这个账户有可能存在欺诈的嫌疑，那么就需要生成一条告警信息。Flink的状态管理有状态的流处理是FLink官方给出的最优代表性的特征What i