【大数据入门核心技术-Iceberg】（八）Iceberg与Flink基本Shell操作

forest_long

已于 2023-10-18 17:25:40 修改

阅读量232

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据技术入门到21天通关文章标签：大数据 flink spark 分布式 iceberg hudi

于 2023-10-18 16:59:27 首次发布

本文链接：https://blog.youkuaiyun.com/forest_long/article/details/133909898

大数据技术入门到21天通关专栏收录该内容

175 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在大数据环境中使用Flink与Iceberg进行交互，详细阐述了创建和使用Catalog（包括Hive Catalog和Hadoop Catalog）的过程，并提供了DDL语句示例，如创建数据库、表，修改表，删除表以及插入、查询数据的操作。同时，文章指出了Flink与Iceberg集成的现有不足，如不支持隐藏分区、计算列和watermark等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、创建和使用 Catalog

1、Hive Catalog

1）上传hive connector到flink的lib中
wget https://repo1.maven.org/maven2/org/apache/flink/flink-sql-connector-hive-3.1.2_2.12/1.16.0/flink-sql-connector-hive-3.1.2_2.12-1.16.0.jar
cp flink-sql-connector-hive-3.1.2_2.12-1.16.0.jar $FLINK_HOME/lib/

2）启动hive metastore服务
hive --service metastore

3）创建hive catalog
重启flink集群，重新进入sql-client
$FLINK_HOME/bin/sql-client.sh embedded

hadoop fs -mkdir -p hdfs://hadoop101:9000/warehouse/iceberg-hive

CREATE CATALOG hive_catalog WITH (
  'type'='iceberg',
  'catalog-type'='hive',
  'uri'='thrift://hadoop101:9083',
  'clients'='5',
  'property-version'='1',
  'warehouse'='hdfs://hadoop101:9000/warehouse/i

了解本专栏