- 博客(8)
- 收藏
- 关注
RSS订阅原创 Flink主流数据连接广播流数据的水位正常生成处理
当使用Flink的主流数据来连接广播流数据的时候 会因为维度流数据不包含水位线 导致connect后无法正常生成水位线 进而导致无法触发窗口计算或定时器 因为水位线的传递策略就是这样 下游的水位线依靠上游所有流的水位的最小值。因此只要在维度流中指定水位线的生成策略即可保证connect后也能够正常生成 考虑到水位线取最小值这个特性 可以给广播流数据恒定一个无法达到的水位线 此时连接后的水位线策略就完全取决于业务流数据的时间。
2025-10-09 23:05:17
346
原创 Doris数据导入的多种方式
导入概览https://doris.apache.org/zh-CN/docs/data-operate/import/load-manual。
2025-05-17 17:01:33
1049
原创 读完大数据之路的一些总结
看书么 应该包含两个部分 第一个部分把书读薄 第二个部分把书读厚 虽然我没查过说这句话的人当初时这么理解的 反正我的理解是第一遍读的时候要总结出书中大致的框架结构 以这本书为例 当然只说建模部分 所谓数仓建模就是事实表、维度表、聚集表的设计 当然ODS ADS层就不说了 个人感觉没有什么值得建模的地方 大不过是ODS层存储数据的原始样貌 ADS层存储指标结果 供给BI系统抽数用 那么结合书中的一些描述 读完之后我感觉脑中应该有这样一幅图就算没白读。确定好粒度以后，就要针对这个粒度确定需要采样的状态度量。
2025-03-14 22:01:20
1107
原创 在Kettle中使用变量 同步每日增量数据
第二步 增加常量方便处理 考虑到还有一些历史数据的删除策略。第一步 获取系统信息(时间为例)第三步 使用计算器计算需要的日期。测试用Kettle版本为7.1。
2025-01-23 09:22:21
1049
原创 Linux基础命令
以我的主机为例打开终端后可以看到[root@node1 ~]$ 其中root表示当前登录的用户 @node1表示当前的主机名 ~表示当前所在的目录 $表示当前的用户是一个普通用户 root用户显示的是#
2025-01-18 10:38:03
1189
原创 记一次Flink本地任务问题解决
使用Flink本地任务消费Kafka数据报错 A JNI error has occurred, please check your installation and try againException in thread "main" java.lang.NoClassDefFoundError
2025-01-18 10:35:35
189
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人