Iceberg （一、presto和trino实践——行级更新）

原创

已于 2022-09-26 20:27:14 修改 · 4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #iceberg #presto #实践 #数据湖

于 2022-09-26 19:15:34 首次发布

文章目录

iceberg介绍
环境准备
实操crud
- presto操作
- - 配置
  - 测试
  - 结论
- trino操作
- - 介绍
  - 配置
  - 测试
  - 结论

iceberg介绍

关于iceberg的一些介绍官方有做详细说明 https://iceberg.apache.org/ ，我们重点说下iceberg的实践和一些使用踩坑。为什么先讲述presto和trino引擎操作，主要是这两个组件没有找到详细介绍的文档，另外关于spark/flink会有更多的文章介绍，后续也可以讲下结合其他引擎遇到的坑。
有些文章没有按照最新官网文档来，或者不去多实践就得出一些结论（比如iceberg还不支持行级更新等），目前我验证最新presto-0.276和flink15在 sql还不支持直接非分区键删除或更新，但 spark/trino 都是能通过sql直接行级更新的。

环境准备

操作需要我们先安装一些组件，测试的话单机部署就好。列举下我这边使用的版本：
hadoop-3.2.3
hive-3.1.2 (主要使用metastore功能)
presto-0.276
trino-397 （需要下载jdk-17.0.3 及以上版本）

实操crud

presto操作

配置

关于iceberg的配置，官方文档有具体的描述。
presto是支持两类catalog 的分别是hive和hadoop，通过配置iceberg.catalog.type ，我们都创建下。

hadoop类型
我这里就写下核心配置 etc/catalog/iceberg.properties ，名称iceberg可以自定义。

connector.name=iceberg
hive.metastore.uri=thrift://127.0.0.1:9083
iceberg.catalog.type=hadoop
iceberg.catalog.warehouse=hdfs://127.0.0.1:8020/user/iceberg/hadoop_db

hive类型
etc/catalog/iceberg1.properties

connector.name=iceberg
hive.metastore.uri=thrift://localhost:9083
iceberg.catalog.type=hive

测试

链接presto ./presto-cli.jar --server localhost:8080 --catalog iceberg ，指定catalog为刚才创建好的hadoop类型。然后创建并使用test_db 的schema

presto> create schema test_db;
CREATE SCHEMA
presto> 
presto> use test_db;
USE
presto:test_db>

可以通过hadoop 路径来验证你指定的warehouse有没有生成目录。
在这里插入图片描述
我们创建test1表，并在表里插入一些数据

presto:test_db> CREATE TABLE test1 ( 
             ->     "id" bigint,                        
             ->     "data" varchar

最低0.47元/天解锁文章