- 博客(3)
- 收藏
- 关注
RSS订阅原创 如何使用 Arctic 自动优化 Apache Iceberg
本文将帮助你了解 Arctic 的文件自动优化功能，并演示如何使用 Arctic 自动优化 Iceberg 表。
2023-07-05 15:41:50
376
原创 企查查基于 Apache Iceberg 与 Arctic 构建实时湖仓实践
最终调研了各大厂数据湖落地的情况[4][5][6]，一个持续稳定的独立合并服务可以更好地对资源进行管控和利用且不影响写入任务，是使用好 Iceberg V2 表的基础，当我们内部还在讨论怎么落地这个外部服务的阶段，Arctic 开源了，同时首先对 Native Iceberg Table Format 的小文件合并服务进行了支持，同时还包括了孤儿文件清理，过期快照清理服务。数据被收集到 Kafka 集群，分别用于主要基于 Spark 引擎的离线计算和基于 Flink 引擎的实时计算。
2023-06-21 14:07:56
522
原创 Arctic 自动优化湖仓原理解析
Arctic 是一个开放式架构下的湖仓管理系统，在开放的 lceberg 数据湖格式之上， 提供更多面向流和更新场景的优化，以及一套可插拔的数据自优化机制和管理服务。
2023-06-16 14:04:47
318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人