- 博客(37)
- 收藏
- 关注
原创 Trino查询iceberg 时间旅行(快照)
摘要:本文介绍了通过trinotrino-cli连接Hive查询Iceberg表快照的方法。主要包括:1)使用特定参数连接服务器;2)查询表的所有快照信息并按提交时间排序;3)通过快照ID查询历史数据;4)提供包含过滤条件和排序的复杂SQL示例。这些操作适用于需要分析Iceberg表历史版本数据的场景。
2025-12-24 15:38:33
143
原创 Flinksql中iceberg 双主键upsert带dt分区问题建表参考
本文展示了如何创建Iceberg表并配置Flink实时计算任务来实现数据同步。首先创建了名为user_event_iceberg的Iceberg表,包含用户ID、事件类型、时间等字段,配置了主键、分区和存储属性。然后设置了Flink Catalog和源表user_behavior(MySQL)的连接配置。最后通过创建Iceberg Catalog和结果表,将MySQL源表数据实时同步到Iceberg表中。整个过程展示了从关系型数据库到数据湖表的实时数据管道搭建,包括表结构定义、连接器配置和数据同步SQL实现
2025-12-24 15:23:07
292
原创 startrocks 视图表
本文展示了StarRocks数据库的基本操作,包括创建明细表、插入数据、创建视图和物化视图。首先创建了包含用户信息的example_table表,采用明细模型,按ID分10个桶。然后插入了4条测试数据。接着创建了基于城市分组计算用户数和平均薪资的普通视图city_salary_view。最后创建了每小时自动刷新的异步物化视图city_salary_mv_async,可快速查询各城市薪资数据。这些操作演示了StarRocks在数据存储、聚合分析和性能优化方面的典型应用场景。
2025-09-06 10:53:57
134
原创 linux 安装jmeter 运行jmx测试计划,查看jtl报告
jmeter -v 查看jmeter配置是否完成。配置环境变量(自己的jmeter位置)新建目录jmeter目录。pwd确定环境变量位置。
2025-08-26 09:23:01
212
原创 FLinkSQL写法kafka关联MySQL写入MySQL(proctime)
【代码】FLinkSQL写法kafka关联MySQL写入MySQL(proctime)
2024-11-25 11:36:23
321
1
原创 FLink字段类型与数据源对应关系整理
对应关系参考:JDBC 字段类型映射| Apache FlinkElasticsearch 字段类型映射| Apache FlinkUpsert Kafka 字段类型映射| Apache FlinkMongoDB 字段类型映射| Apache FlinkClickHouse连接器_实时计算 Flink版(Flink)Flink Doris字段映射 Connector - Apache DorisStarRocks_实时计算 Flink版(Flink)hudi连接器_实时计算
2024-04-09 17:34:32
434
原创 PostgreSQL建表flink支持的字段集,insert插入数据
【代码】PostgreSQL建表flink支持的字段集,insert插入数据。
2024-03-15 16:49:33
320
1
原创 实时计算flinksql使用sum(),avg(),max(),min(),over(),WATERMARK示例
实时计算flinksql使用sum(),avg(),max(),min(),over(),WATERMARK示例
2024-01-25 19:48:15
1252
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅