Bugs那些事儿

按照网上说的，这是因为hadoop集群资源不足造成的。 并且多数情况是由于分配的虚拟内存超出限制。根据分析，Flink应用确实存在大量的缓存数据，而设置的taskmanager内存只有2G，当程序运行一段时间后就会出现以下类似错误：Diagnostics: Container [pid=6386,containerID=container_1521277661809_0006_01_000001] is running beyond virtual memory limits. Current u

Flink支持多种metric报告方式，例如prometheus, influbDB, JMX等。本篇主要记录Prometheus+Pushgateway的方式监控Flink任务。00x准备工作1. 下载Prometheus、Pushgateway和AlertManager这三个工具都是Prometheus生态组件，下载地址：https://prometheus.io/download/01x解压与配置1. 将下载的组件解压到任意目录，如/app/prometheus/app

Flink Watermark是用于处理数据乱序问题，网上已经有很多优秀的文章介绍，这里就不重复了。参考：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/event_timestamps_watermarks.html今天要说的使用Watermark过程中自己挖的坑，使用sideOutputLateData()过程中没有正常输出的问题，在此记录一下：先来看一下源码解析：/** * Send late ar

一、事实表分类1. 以粒度划分（1） 事务事实表（Transaction Grain Fact Table）一条记录代表了业务系统中的一个事件。事务出现后，就会在事实中出现一条记录。以订单域举例：下单是一个事实；付款是一个事实；退款是一个事实。（2） 周期快照事实表（Periodic Snapshot Grain Fact Table）记录指定周期内一些聚集事务值或者度量状态。如：库存日快照事实表（3） 累积快照事实表（Accumulating Snapshot Grain Fact

原理：结合Flink源码中的CountTrigger和EventTimeTrigger逻辑即可。package net.ben.flink.hbase.function.trigger;import org.apache.flink.api.common.functions.ReduceFunction;import org.apache.flink.api.common.state...

Flink出现Caused by: java.lang.LinkageError: loader constraint violation错误原因: 类加载顺序问题，可以再flink-conf.yaml中加入classloader.resolve-order: parent-firstFlink的默认加载是child-first, 这也是jdk的默认加载顺序。...

需求背景：当流超时没有数据流入，发出告警通知。思路：KeyedProcessFunction中有onTimer()方法，将时间注册到timerService中，在指定时间触发onTimer()方法，在onTimer()中结合State判断是否超时。class TimeoutFunction extends KeyedProcessFunction<Tuple, Event, E...