- 博客(3)
- 收藏
- 关注
RSS订阅原创 Flink SQL踩坑记录-IF函数
业务需要将部分离线数仓看板改实时，选择Flink SQL脚本实现，改写Hive SQL过程中有两个关于IF函数的报错点。
2025-02-06 21:06:50
1713
原创 数据倾斜记录-开窗函数
在第二种查询中，是对ROW_NUMBER()函数的结果进行了筛选，只保留了每个user_id分区的第一行，然后再与原始表进行JOIN操作。在第一种查询中，first_value函数会在每个user_id分区内，将第一个province_name的值赋给所有的行。这个过程需要在内存中维护每个user_id分区的所有数据，如果一个user_id分区的数据量非常大，那么这个复制操作可能会占用大量的内存和计算资源，从而导致数据倾斜。
2024-11-13 00:40:18
310
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人