刘金超DT的博客

import org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.flink.streaming.api.scala._/** * 量词的使用 */object FlinkCepTest1 { case class LoginEvent(...

什么原因导致背压？流系统中消息的处理速度跟不上消息的发送速度，导致消息的堆积。如果系统能感知消息堆积，并调整消息发送的速度，使消息的处理速度和发送速度相协调就是有背压感知的系统。背压如果不能得到正确地处理，可能会导致资源被耗尽或者甚至出现更糟的情况导致数据丢失。flink就是一个有背压感知的基于流的分布式消息处理系统。如下图：1、消息发送的太快，消息接受的太慢，产生消息拥堵。2、发生消息...

Flink CEP背景介绍随着无处不在的传感器网络和智能设备不断收集越来越多的数据，我们面临着以近实时的方式分析不断增长的数据流的挑战。 能够快速响应不断变化的趋势或提供最新的商业智能可能是公司成功或失败的决定性因素。 实时处理中的关键问题是检测数据流中的事件模式。复杂事件处理（CEP）恰好解决了对连续传入事件进行模式匹配的问题。 匹配的结果通常是从输入事件派生的复杂事件。 与对存储数据执行...

模拟业务场景：一个大型的电商网站，每天都需要分析当天的成交量。如果使用mysql去分析，会非常慢 ，甚至会导致mysql宕机。要进行海量数据分析，需要将mysql中的数据同步到其他的海量数据存储介质（HDFS、hbase）中。那如何来导出呢？sqoop 解决方案一：使用sqoop定期导出mysql的数据到hbase或hdfssqoop导出mysql的数据，需要通过sql语句来查询数据，...

订单超时监控import org.apache.flink.streaming.api.TimeCharacteristicimport org.apache.flink.streaming.api.scala.{DataStream, OutputTag, StreamExecutionEnvironment}import org.apache.flink.api.scala._imp...

Spark整合Kafka两种模式说明开发中我们经常会利用SparkStreaming实时地读取kafka中的数据然后进行处理，在Spark1.3版本后，KafkaUtils里面提供了两种创建DStream的方法：1.Receiver接收方式：KafkaUtils.createDstream有一个Receiver作为常驻的Task运行在Executor等待数据，但是一个Receiver效率低，...