- 博客(12)
- 收藏
- 关注
原创 Flink实战 - 统计每个店铺每日GMV
Flink实战-统计每个店铺每日GMV 接到一个实时指标的需求,计算每个店铺每日的实时GMV。这个实时指标不难,对每个店铺、每日分组累计销售额就OK。 就是想的这么简单,结果在上面踩了坑。 问题 计算这个任务是用 Stream API 实现的,对每个shopId和时间天进行keyby,具体代码: // payTime 转时间格式 <这个后续有优化的方案> SimpleDateFormat fm = new SimpleDateFormat("yyyy-MM-dd"); shopOrd
2020-11-15 17:25:35
4814
2
原创 Flink实战 - 利用SessionWindow处理心跳数据
Flink实战 - 利用SessionWindow处理直播间用户心跳数据 Flink利用SessionWindow处理心跳数据 1.SessionWindow 介绍 先看看Flink提供的多种计算窗口 countWindow:基于数据,根据数据的条数来划定一次聚合计算范围。 timeWindow:根据时间划分聚合计算的范围。 timeWindow又分为三种: Tumbling window 滚动窗口 Sliding Window 滑动窗口 Session Window 会话窗口 其他窗口不再叙述,主
2020-09-14 03:25:53
1308
5
原创 ElasticsearchException - index_closed_exception
flink 任务跑了好久了,但是今天突然挂了。看了下 Root Exception,报了一个异常 Caused by: java.lang.RuntimeException: An error occurred in ElasticsearchSink. at org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkBase.checkErrorAndRethrow(ElasticsearchSinkBase.jav
2021-11-17 16:56:16
985
原创 Java 多线程检测可用端口号
有一台阿里云的 ESC,想看下哪些端口号可以远程访问。 写了一段 Java 代码,使用 Java 多线程,访问 Linux 的端口号,看看哪些 端口号是可以访问。 工具类,判断是否可以访问该 ip + port import java.io.IOException; import java.net.InetAddress; import java.net.InetSocketAddress; import java.net.Socket; /** * @author axin * @dat
2021-08-12 00:59:16
484
原创 Redis - 大key的优雅清理
遇到的问题: redis中有个zset格式数据,不停的写入,写入间隔远远小于key的过期时间,导致一段时间后发现其中的一些key变的比较大,有的k
2021-05-31 23:19:51
409
原创 Flink - 如何创建周窗口
原文链接: Flink 使用 timeWindow,如何使用周级别的滚动窗口 不需要自定义窗口分配器!不需要自定义窗口分配器! 第一种:开始时间为周一 00:00:00,结束时间为 周日 23:59:59 .window(TumblingEventTimeWindows.of(Time.days(7), Time.hours(-80))); 第二种:开始时间为周日00:00:00,结束时间为 周六23:59:59 .window(TumblingEventTimeWindows.of(..
2021-05-27 04:22:51
258
原创 Flink实战 - 使用异步方式读取mysql数据
Flink 是流计算引擎 在Flink任务开发过程中经常会遇到从外部存储获取数据的场景,比如处理日志数据时,需要获取到用户的信息
2021-02-28 04:34:43
2876
6
原创 Flink - flinksql使用TIMESTAMPDIFF遇到的问题
先说需求:计算今日复访用户数,要求该用户前3天内有访问该直播间的记录 需求分析: 如何确定前3天内有访问,这份数据我是通过离线同学帮忙每天凌晨更新的,存在的误差也在接受范围之内。 今天的访客需要从之前的记录中判断是否有近3天的。 统计uv 数据处理: 同步用户最近一次访问直播间的时间,userLastVisitRoomTime,记录用户最近一次访问直播间的时间,这个表是T+1(离线数据,只有今日00:00:00的数据)的。 使用flinksql进行join该表,该表中userId + roomI
2021-02-23 02:32:16
4200
2
原创 Flink - 小小优化
时间优化 业务数据中的时间一般都是秒级或者毫秒级别的时间戳。比如:1605429248 在我们的flink任务中,对时间的使用比较多的,在平时使用的过程中,对时间处理上的优化有点小小的建议 对时间做key by时(timeLong 标示时间戳:1605429248): 天:(timeLong + 28800) / 86400 小时:timeLong/3600 分钟:timeLong/60 Keyed 优化 key的数量尽量是有限的。如果key的数量无限,可以使用Hash,然后取余。将k..
2020-11-15 17:37:33
431
原创 Flink on Yarn 模式下定位连接MySql的Flink Job
Flink on yarn 模式下定位连接mysql的Flink Job 环境说明: flink 模式:flink on yarn 开发语言:java 遇到的问题 flink开发数据指标join了mysql来补充数据。后续连接的这个mysql需要迁库,这时就需要将连接了这个mysql的flink job找到并且切换db。凭借数据需求开发文档修改了大部分flink job任务。后续运维小姐姐说我们的几台机器没有断开这个mysql,并且将这几台机器的IP给了我们。 找flink job IP可以定.
2020-11-09 01:46:50
290
原创 Flink跟着问题读源码 - SlidingEventTimeWindows接reduce结果数据倍增
1.异常情况 使用 SlidingEventTimeWindows 窗口,后面直接一个reduce算子,数据会出现倍增情况。 代码: DataStreamSource<String> localhost = env.socketTextStream("localhost", 9991, "\n"); final SingleOutputStreamOperator<DataEntity> dataSteam = localhost .flatMap(new FlatMa
2020-09-27 11:13:16
1105
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅