qq_31866793的博客

参考文档：https://ci.apache.org/projects/flink/flink-docs-release-1.3/monitoring/metrics.html实际代码：package metricimport java.util.Propertiesimport com.sjb.constant.Constantsimport org.apache.flink.api.common.functions.RichMapFunctio...

Task 故障恢复当 Task 发生故障时，Flink 需要重启出错的 Task 以及其他受到影响的 Task ，以使得作业恢复到正常执行状态。Flink 通过重启策略和故障恢复策略来控制 Task 重启：重启策略决定是否可以重启以及重启的间隔；故障恢复策略决定哪些 Task 需要重启。重启策略固定延时重启策略故障率重启策略不重启策略备用重启策略故障恢复策略全图重启故障恢复策...

准备流，实时批量写入hbase：package application_spark.hbase;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;import org.apache...

使用slot分组 或者disableChaining()，我们可以将算子的依赖链给隔离或者分开，这样可以针对不同的需求进行不同的优化。package application;import com.alibaba.fastjson.JSONObject;import operator.*;import org.apache.commons.lang.StringUtils...

1，我先简单的说说自己的理解，Flink可能跟spark不太一样1）TaskManager 与 slots 比如我们有2个TaskManager 每个TaskManager 设置了3个slot，那么slot总数是6在执行任务的时候，如下图：2）slot 与 cpu的关系每个Flink TaskManager在集群中提供处理槽。 插槽的数量通常与每个Tas...

在flink on yarn模式中，flink yarn-session的两种提交方式1.公用一个yarn-session在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。2.每个job提供一个集群环境下面以spark-session 案例，简单讲解：启动运行环境：...

转载地址：https://mp.weixin.qq.com/s/LF05t77N8xWkoH1xrUgPrQ1 ，配置内存操作场景 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。GC的配置：在客户端的"conf/fl...

一，在需要使用Flink，需要使用state过期的时候，没百度到怎么使用代码，我只记得自己以前写过一篇，还好翻出来了。地址链接：https://blog.youkuaiyun.com/qq_31866793/article/details/102947285二，目前Flink版本升级了，代码可能发生了一点点变化如下所示：1，启动过期清理StateTtlConfig ttlConfig = StateTtlConfig .newBui...

直接上代码吧package yarn;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.mzlion.easyokhttp.HttpClient;import org.apache.commons.collections.CollectionUtils;import java.util.ArrayList;import java.util.Arra...

1，主要验证了一下flinkon zeppelincheckpoint的这个功能，临时写了个案例去测试一下。2，首先我们知道正常的checkpoint恢复取消的任务，我们需要在脚本里面指定路径，这个我之前博客有写，直接贴官网的案例：https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/state/checkpoints.html3，不知道大家是不是这样子，如果在一些集群环境运行。我们的任务需要重启，需要登录..

1，下载druid依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.0</version></dependency>2，测试代码如下，先...

state设置过期默认过期的不会被清理，清理是在实现checkpoinFunction接口里面的再次调用初始化的时候（触发容错机制的时候）才会被清理。案例代码：元组类型ProcessFunction补充：计时器就是我设置一个时间为当前时间+3s， 3秒之后会回调onTimer这个方法，方法里面就是我们的业务，可以选择下...

1，主代码：package application.storm;import entry.ConsumerDeserializationSchema;import entry.TopicInfoTest;import org.apache.flink.api.java.utils.ParameterTool;import org.apache.flink.streaming...

1.前言Flink中基于DataStream的join，只能实现在同一个窗口的两个数据流进行join，但是在实际中常常会存在数据乱序或者延时的情况，导致两个流的数据进度不一致，就会出现数据跨窗口的情况，那么数据就无法在同一个窗口内join。Flink基于KeyedStream提供的interval join机制，intervaljoin 连接两个keyedStream, 按照相同的key在一...

1，我们先看一下最简单的代码，消费kafka的数据然后state存储，通过checkpoint保存到hdfspackage application;import appOperator.stateMap;import org.apache.flink.api.common.restartstrategy.RestartStrategies;import org.apache.fli...

Caused by: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConf...

官网代码：DataStream<Integer> input = ...;final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};SingleOutputStreamOperator<Integer> mainDataStream = input...

1，本地代码调试配置日志：1，创建log4g.properties文件：内容如下：log4j.rootLogger=INFO,consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j...