cts618

Flink编程模型

Flink自定义网课数据源

Flink自定义数据源

Flink自定义订单数据源

Flink Stream,Flink SQL,Flink CEP三板斧优先级

为什么用 Flink？

Flink 海量数据如何高效去重

LookUpJoin案例

Flink SQLJoin案例

intervalJoin实例

Flink 状态编程 广播状态（Broadcast State）案例

Flink的广播流状态实例

Flink获取最大值

广播机制 案例

ListState之每10秒输出一次用户信息

ListState排序

coGroup DataSet数据集

Flink迟到数据处理

线程池工具类

Flink超时数据提取

JdbcSink

out特殊写法

flink中状态如果不清理就会越来越大，实际上很多状态是可以清理的，比如说我们在计算日活时，使用日期作为key划分流，为了过滤掉重复的用户，在每个key内都维护了一个MapState。而我们实际上只关注当前日期的日活（因为之前的日活我们已经知道了），所有可以将之前日期的状态都清理。手动清理很麻烦，我们可以为状态设置超时时间，当超过这个时间之后，flink会自动清除这些数据：...

Flink_SQL_Union

去掉JSON字符串中的转义字符

####官网地址：https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/dev/table/streaming/match_recognize.html####我们有实时的机房温度监控数据，机房温度过高会触发告警。我们想知道每个机房每次告警的起止时间和平均温度等数据#导入依赖：<dependency> <groupId>org.apache.flink</groupId>

import org.apache.flink.api.common.functions.Partitioner;import org.apache.flink.api.java.functions.KeySelector;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironme.

import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.connector.jdbc.JdbcConnectionOptions;import org.apache.flink.connector.jdbc.JdbcExecutionOptions;import org.apache.flink.connector.jdbc.JdbcSink;import org.apach.

connect：可以连接相同数据类型的两种流，也可以连接不同数据类型的两种流public class ConnectDemo { public static void main(String[] args) throws Exception { // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.s

// Flink 开启本地运行环境object Demo002 { def main(args: Array[String]): Unit = { val con: Configuration = new Configuration() con.setLong("hadoop102",9999) val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironmentWith.

1，压平切分：2，转换数据结构：3，过滤：因为flatmap的返回值是void，所以数据可以直接写出去 //TODO 3.将数据转换为JSON对象 SingleOutputStreamOperator<JSONObject> jsonObjDS = pageStringDS.map(JSON::parseObject); //TODO 4.过滤数据,只需要访问主页跟商品详情页的数据 SingleOutputStreamOperat

JavaBean示例

log4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.target=System.outlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %10p (%c:%M) - %m%nlog4j.roo.

package com.cnic.utils;import java.util.Comparator;public class TimestampLtz3CompareUtil { public static int compare(String timestamp1, String timestamp2) { // 数据格式 2022-04-01 10:20:47.302Z // 1. 去除末尾的时区标志，'Z' 表示 0 时区 Stri.

package com.cnic.utils;import lombok.SneakyThrows;import java.util.concurrent.LinkedBlockingDeque;import java.util.concurrent.ThreadPoolExecutor;import java.util.concurrent.TimeUnit;public class ThreadPoolUtil { private static ThreadPoolExecu.

package com.cnic.utils;public class MysqlUtil { public static String getBaseDicLookUpDDL() { return "create table `base_dic`( " + " `dic_code` string, " + " `dic_name` string, " + " `.

package com.cnic.utils;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.streaming.connect.

package com.cnic.utils;import com.atguigu.bean.TransientSink;import com.atguigu.common.GmallConfig;import lombok.SneakyThrows;import org.apache.flink.connector.jdbc.JdbcConnectionOptions;import org.apache.flink.connector.jdbc.JdbcExecutionOptions;i.

package com.cnic.utils;import org.wltea.analyzer.core.IKSegmenter;import org.wltea.analyzer.core.Lexeme;import java.io.IOException;import java.io.StringReader;import java.util.ArrayList;import java.util.List;public class KeywordUtil { publi.

package com.cnic.utils;import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.jedis.JedisPoolConfig;public class JedisUtil { private static JedisPool jedisPool; private static void initJedisPool() { .