JinVijay的博客

FlinkKafkaProducer继承了TwoPhaseCommitSinkFunction(分为两个阶段提交的Sink),TwoPhaseCommitSinkFunction实现了两个接口CheckpointedFunction和CheckpointListener实现CheckpointedFunction接口要实现initializeState和snapshotState实现CheckpointListener接口要实现notifyCheckpointComplete和notify...

关联MySQL中的维度表示例/** * @Description: * 从Kafka中读数据，然后关联MySQL的维表，最后将结果输出到MySQL中 */public class MySQLDimensionDemo { public static void main(String[] args) { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment

Join/** * * 将两个数据流,进行join * * 如果让两个流能够join上,必须满足以下两个条件 * 1.由于数据是分散在多台机器上,必须将join条件相同的数据通过网络传输到同一台机器的同一个分区中(按照条件进行KeyBy) * 2.让每个流中的数据都放慢,等等对方(划分相同类型,长度一样的窗口) * */public class EventTumblingWindowJoin { public static void main(String[] args)

/** * * 广播状态的使用场景 * 1.少量的数据可以使用广播状态(广播状态的数据存储在内存中,如果数据量非常大,不能使用广播状态) * 2.广播状态的数据可以动态修改 * * 需要先将维度数据读取过去才能进行关联 * * 如果要广播的数据量非常大,或者根本无法获得数据 * 为了高效的关联维度数据,可以使用异步IO */public class BroadcastStateDemo { public static void main(String[] args) thr.

使用异步IO查询高德地图关联数据/** * 封装数据的对象 */public class OrderBean { public String oid; public String cid; public Double money; public Double longitude; public Double latitude; public String province; public String city; pu

测流输出示例/** * 测流输出 * 本质上,就是将一个流中的数据打上标签,未打标签的数据叫主流, * 打标签的数据流,叫侧流(非主流) * * 在Flink中,DataStream中的数据流,按照是否打标签,分为两类 * 1.侧流,就是打上标签的数据流,想要获取,就必须根据标签才能获取到 * 2.主流,就是未打标签的数据,直接操作DataStream就可以了 */public class SideOutputDemo { public static void main(S

/* * 从Kafka读取数据处理完毕写入Redis */public class KafkaToRedis { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //开启checkpointing e.

FsStateBackend/** * 从Kafka读取数据处理完毕写入Redis */public class KafkaToRedis { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //开启checkp

ValueSate/** * * ValueState的底层实现 * Flink中的State分为两种:KeyedState(keyBy之后对应的State),和OperatorState(没有keyBy的State) * * ValueState是KeyedState中的一种 * * 1.KeyedState是KeyedState中的一种 * 2.如果想要容错,必须要开启checkpointing,并且按照Flink的状态API进行编程(将中间结果保存在Flink特殊的变量中) *

资源槽的概念1.一个TaskManager就是一个单独的JVM(java进程)2.一个TaskManager中如果有多个slot,会将TaskManager托管的内存进行等分;一个TaskManager中也可以只有一个slot,该slot中的subtask独占整个TaskManager中的内存3.每个slot中的内存都是相互独立的,在同一个TaskManager中,多个slot还有共享内存4.slot使用的线程没有隔离,最好让cpu的逻辑核的数量和TaskManager中的slot数量保

示例1. WordCountpublic class WordCount { public static void main(String[] args) throws Exception { // link运行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //调用Source生成DataStream