xuronghao的博客

Apache Iceberg 支持Apache Flink的DataStream API 和 Table API 将记录写入 iceberg 的表，当前，我们只提供 iceberg 与 apache flink 1.11.x  的集成支持。Feature supportFlink 1.11.0NotesSQL create catalog✔️SQL create database✔️SQL create table✔️SQL alter tab

Iceberg 表规范Version 1: 分析数据表Version 2:行级删除GoalsMvcc 和乐观并发文件系统操作这是 Iceberg 表格格式的规范，用于在分布式文件系统或键值存储中，将大型、缓慢变化的文件集作为表来管理。Version 1: 分析数据表Iceberg Version 1是当前版本。 它定义了如何使用不可变的文件格式(如 Parquet、 Avro 和 ORC)来管理大型分析表。Version 2:行级删除Iceberg 社区目前正在开发支持编码行级删除的 Iceber

什么是分区？分区是一种通过在写入数据时将相似的行分组来加快查询速度的方法。例如，对日志表中日志条目的查询通常包括一个时间范围，比如这个对上午10点到12点之间日志的查询:SELECT level, message FROM logsWHERE event_time BETWEEN '2018-12-01 10:00:00' AND '2018-12-01 12:00:00'根据event_time 的日期将日志表配置为分区，将日志事件分组到具有相同事件日期的文件中。Iceberg 会跟踪这个日期，

在Spark中开始一个Iceberg项目在 Spark 中使用 IcebergSpark 中安装 Iceberg创建一个表读和写操作使用 SQL 读在 Spark 中使用 Iceberg最新版本是 0.8.0-incubating .要在 Spark shell 中使用 Iceberg，请使用 --parkage 选项:spark-shell --packages org.apache.iceberg:iceberg-spark-runtime:0.8.0-incubating您还可以在本地构建