- 博客(12)
- 收藏
- 关注
RSS订阅
原创 Flink实战 - 统计每个店铺每日GMV
Flink实战-统计每个店铺每日GMV接到一个实时指标的需求，计算每个店铺每日的实时GMV。这个实时指标不难，对每个店铺、每日分组累计销售额就OK。就是想的这么简单，结果在上面踩了坑。问题计算这个任务是用 Stream API 实现的，对每个shopId和时间天进行keyby，具体代码：// payTime 转时间格式 <这个后续有优化的方案>SimpleDateFormat fm = new SimpleDateFormat("yyyy-MM-dd");shopOrd
2020-11-15 17:25:35
4738
2
原创 Flink实战 - 利用SessionWindow处理心跳数据
Flink实战 - 利用SessionWindow处理直播间用户心跳数据Flink利用SessionWindow处理心跳数据1.SessionWindow 介绍先看看Flink提供的多种计算窗口countWindow：基于数据，根据数据的条数来划定一次聚合计算范围。timeWindow：根据时间划分聚合计算的范围。timeWindow又分为三种：Tumbling window 滚动窗口Sliding Window 滑动窗口Session Window 会话窗口其他窗口不再叙述，主
2020-09-14 03:25:53
1263
5
原创 ElasticsearchException - index_closed_exception
flink 任务跑了好久了，但是今天突然挂了。看了下 Root Exception，报了一个异常Caused by: java.lang.RuntimeException: An error occurred in ElasticsearchSink. at org.apache.flink.streaming.connectors.elasticsearch.ElasticsearchSinkBase.checkErrorAndRethrow(ElasticsearchSinkBase.jav
2021-11-17 16:56:16
954
原创 Java 多线程检测可用端口号
有一台阿里云的 ESC，想看下哪些端口号可以远程访问。写了一段 Java 代码，使用 Java 多线程，访问 Linux 的端口号，看看哪些 端口号是可以访问。工具类，判断是否可以访问该 ip + portimport java.io.IOException;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.Socket;/** * @author axin * @dat
2021-08-12 00:59:16
454
原创 Redis - 大key的优雅清理
遇到的问题：redis中有个zset格式数据，不停的写入，写入间隔远远小于key的过期时间，导致一段时间后发现其中的一些key变的比较大，有的k
2021-05-31 23:19:51
379
原创 Flink - 如何创建周窗口
原文链接：Flink 使用 timeWindow，如何使用周级别的滚动窗口不需要自定义窗口分配器！不需要自定义窗口分配器！第一种：开始时间为周一 00:00:00，结束时间为 周日 23:59:59.window(TumblingEventTimeWindows.of(Time.days(7), Time.hours(-80)));第二种：开始时间为周日00:00:00，结束时间为 周六23:59:59.window(TumblingEventTimeWindows.of(..
2021-05-27 04:22:51
242
原创 Flink实战 - 使用异步方式读取mysql数据
Flink 是流计算引擎在Flink任务开发过程中经常会遇到从外部存储获取数据的场景，比如处理日志数据时，需要获取到用户的信息
2021-02-28 04:34:43
2826
6
原创 Flink - flinksql使用TIMESTAMPDIFF遇到的问题
先说需求：计算今日复访用户数，要求该用户前3天内有访问该直播间的记录需求分析：如何确定前3天内有访问，这份数据我是通过离线同学帮忙每天凌晨更新的，存在的误差也在接受范围之内。 今天的访客需要从之前的记录中判断是否有近3天的。 统计uv数据处理：同步用户最近一次访问直播间的时间，userLastVisitRoomTime，记录用户最近一次访问直播间的时间，这个表是T+1(离线数据，只有今日00:00:00的数据)的。 使用flinksql进行join该表，该表中userId + roomI
2021-02-23 02:32:16
4138
2
原创 Flink - 小小优化
时间优化业务数据中的时间一般都是秒级或者毫秒级别的时间戳。比如：1605429248在我们的flink任务中，对时间的使用比较多的，在平时使用的过程中，对时间处理上的优化有点小小的建议对时间做key by时(timeLong 标示时间戳：1605429248)：天：(timeLong + 28800) / 86400 小时：timeLong/3600 分钟：timeLong/60Keyed 优化key的数量尽量是有限的。如果key的数量无限，可以使用Hash，然后取余。将k..
2020-11-15 17:37:33
395
原创 Flink on Yarn 模式下定位连接MySql的Flink Job
Flink on yarn 模式下定位连接mysql的Flink Job环境说明：flink 模式：flink on yarn 开发语言：java遇到的问题flink开发数据指标join了mysql来补充数据。后续连接的这个mysql需要迁库，这时就需要将连接了这个mysql的flink job找到并且切换db。凭借数据需求开发文档修改了大部分flink job任务。后续运维小姐姐说我们的几台机器没有断开这个mysql，并且将这几台机器的IP给了我们。找flink jobIP可以定.
2020-11-09 01:46:50
274
原创 Flink跟着问题读源码 - SlidingEventTimeWindows接reduce结果数据倍增
1.异常情况使用 SlidingEventTimeWindows 窗口，后面直接一个reduce算子，数据会出现倍增情况。代码：DataStreamSource<String> localhost = env.socketTextStream("localhost", 9991, "\n");final SingleOutputStreamOperator<DataEntity> dataSteam = localhost .flatMap(new FlatMa
2020-09-27 11:13:16
1080
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人