- 博客(8)
- 收藏
- 关注
RSS订阅原创 flink09 FlinkSQL（下）
我们先实现第一版报警程序，对于一个账户，如果出现小于 $1 美元的交易后紧跟着一个大于 $500 的交易，就输出一个报警信息。2、如果表的数据量很大，随着时间的推移状态会越来越大，状态的数据时先保存在TM的内存中的，时间长了可能会出问题。每隔1分钟计算最近15分钟每个道路的车流量和平均车速（滑动事件时间窗口）当有一段sql逻辑重复时，可以定义在with语句中，减少代码量。1、flink会将之前的数据保存在状态中，用于判断是否重复。动态表选择：可以在查询表的时候动态修改表的参数配置。
2024-06-05 15:40:10
546
1
原创 flink08 FlinkSQL（上）
更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。具体显示的内容会取决于作业 执行模式的不同(数据中字段的顺序需要和建表语句字段的顺序保持一致 （顺序映射） 默认按照逗号分割。在内存中实体化结果，并将结果用规则的分页表格可视化展示出来。flink表中的字段和类型需要和json中保持一致（同名映射）用于生成测试数据，可以用于高性能测试。1、可以用于处理有界流和无界流。3、流处理模式底层时持续流模型。）组成的持续查询产生结果流。2、流处理模式输出连续结果。用于保存更新更改的结果流。
2024-06-05 11:03:07
738
原创 flink06 kafka的搭建与使用
在生产和消费数据时，如果topic不存在会自动创建一个分区为1，副本为1的topic。__consumer_offsetsL kafka用于保存消费便宜量的topic。
2024-05-31 23:30:40
258
原创 flink05 并行度与事件时间
1、在代码中设置:env.setParallelism(并行度数量) （优先级高，会将代码并行度定死）3、在配置文件中统一设置4、每一个算子可以单独设置并行度。
2024-05-30 23:05:33
1134
原创 flink04 架构图解与flink集群搭建
2、代码地main函数在本地启动，在本地构建dataflow，再将dataflow提交给jobmanager,如果代码报错在本地可以看到部分错误日志。1、将任务提交到yarn上运行，yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger。1、将任务提交到yarn上运行，yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger。1、先再yarn中启动一个jobmanager, 不启动taskmanager。
2024-05-30 19:15:43
322
原创 flink03 sink学习总结
/定义file sink//指定数据的格式//指定滚动策略//包含了至少10秒的数据量//从没接收延时10秒之外的新纪录(间隔了10s未出现新的记录生成新的文件)//文件大小已经达到 1MB（写入最后一条记录之后）.build()).build();注意：泛型与读取数据泛型保持一致滚动策略只在流处理下编写，批处理无滚动策略（3）使用file sink//使用file sink方法与自定义source类似@Override//自定义数据sink位置。
2024-05-29 17:39:04
281
原创 flink02： source 例子总结
使用方法：addSource()方法，括号内new一个自定义Source类（该类实现SourceFunction接口）自定义Source类：类的泛型与读取数据类型保持一致/*** 自定义source* 实现SourceFunction接口，实现接口中的run方法*//*** flink启动的时候会执行一次，再run方法中读取外部的数据，将数据发送到下游*/@Override//将数据发送到下游//cancel方法再任务取消的时候执行，一般用于回收资源@Override。
2024-05-29 15:37:07
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人