实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg

最新推荐文章于 2024-09-10 16:20:27 发布
原创 最新推荐文章于 2024-09-10 16:20:27 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文记录了一次使用Flink SQL客户端通过SQL方式将Kafka中的数据读取并写入到Iceberg表的过程中遇到的问题及解决思路。详细介绍了实验环境配置，包括版本兼容性调整、catalog定义、表创建等步骤，并深入分析了写入失败的原因。

实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg

在sqlclient中，以sql方式从kafka读数据到iceberg

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

环境说明

从实践中了解hive catalog 的特点
环境说明：
flink1.11.6
iceberg 0.11
kafka2.12_2.4.1

1. 启动带hive和kafka功能的flink-sql

[root@hadoop101 software]# bin/sql-client.sh embedded -j /opt/software/iceberg-flink-runtime-0.11.1.jar  -j /opt/software/flink-sql-connector-hive-2.3.6_2.11-1.11.0.jar  -j /opt/software/flink-sql-connector-kafka_2.11-1.11
最低0.47元/天 解锁文章
SQL 教程之 Apache Iceberg — 前 5 大特性
iCloudEnd的博客
06-17 633
随着云数据湖的兴起，使数据民主化并支持各种分析工作负载（BI、数据科学），为组织的数据架构做出的最关键决策之一是决定采用哪种表格式。如果您是数据湖和 Lakehouse 领域的新手，下面的文章应该为您提供有关表格格式及其必要性的高级概述。Apache Iceberg 是目前可用于在数据湖中组织和跟踪数据文件的 3 种表格格式之一。在此之前，Apache Hive 是唯一广泛用于 HDFS（Hadoop 分布式文件系统）的表格式。在其他重要功能中，Iceberg 支持 ACID 事务功能。因此，这意味着您可以
基于zeppelin ，Flink sql 读取kafka数据写入数据到iceberg
qq_31866793的博客
04-23 877
目录 一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoint 2，创建iceberg表 3，切换catalog ,创建kafka表usecataloghive; ​ 4，执行sql插入数据 ​ 5，查看iceberg 二、 参考文章 总结 一、基于zeppelin ，Flink sql读取kafka数据写入数据到iceberg 1，首先一定要添加checkpoin...
实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
spark_dev的博客
01-18 1658
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录版本一、启动flink sql2. 建kafka表3. 读kafka的数据写入到kafka2.读入数据总结 版本 flink-1.12.7-bin-scala_2.12 flink-sql-connector-hive-2.3.6_2.12-1.12.7.jar kafka_
实践数据湖iceberg 第四十课 iceberg的sql运维方式（合并文件、合并元数据、清理历史快照）
spark_dev的博客
02-21 1508
iceberg的sql化运维（合并文件、合并元数据、清理历史快照)
Spark读写MySQL
L, there!
06-18 6527
1. Spark读取MySQL数据 1. spark.read.jdbc() def main(args: Array[String]): Unit = { val spark = SparkSession.builder().appName("sparksql").master("local").getOrCreate() val prop = ne...
实践数据湖iceberg 第六课 从kafka写入到iceberg失败问题 解决
spark_dev的博客
01-19 2610
实践数据湖iceberg 系列文章目录 文章目录实践数据湖iceberg 系列文章目录前言1. 解决方案2. 重跑flink sql总结 前言 遇到的问题： 前面3节课，从kafka读数据写入到iceberg，不报错，就是没有数据写成功， 多次查看官网 https://iceberg.apache.org/#flink/， 没有解决方案。 终极解决方案： 增加chepoint配置。没有checkpoint，就没有输出 吐槽： 只看官网，就是笨蛋， 估计官网写文档的人都没有实践过，是否换个人去写官
实践数据湖iceberg 第二十三课 flink-sql从checkpoint重启
spark_dev的博客
02-23 4780
成功测试flink-sql以非jar包的方式从checkpoint重启，完成故障恢复测试 实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第十九课 flink count iceberg，无结果问题
spark_dev的博客
02-15 1325
实践数据湖icerberg专栏 本专栏记录iceberg菜鸟到专家的过程，记录踩坑，填坑，iceberg特征的了解与原理的认知
实践数据湖iceberg 第七课 实时写入到iceberg
spark_dev的博客
01-19 3118
系列文章目录 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言1. 制造数据2. 通过flume把制造的数据，写入到kafka2.1 flume把日志直接写到kafka的配置文件2.2 准备启动flume agent的脚本2.3 检查是否写入到kafka3.把kakfa的行为数据入湖3.1.定义kafka表3.1.1 使用csv格式读取看看3.1.2 使用raw格式读取看看3.2 定义iceberg表3.3 kafka表入到iceberg4.观察生成的数据5.
Iceberg从入门到精通系列之十：flink sql往Iceberg表插入数据，Batch模式和Streaming模式查询数据
zhengzaifeidelushang的博客
06-30 2803
Iceberg从入门到精通系列之十：flink sql往Iceberg表插入数据，Batch模式和Streaming模式查询数据
数据湖Iceberg介绍和使用(集成Hive、SparkSQL、FlinkSQL)
迷雾总会解
07-01 8546
为了解决数据存储和计算引擎之间的适配的问题，Netflix开发了Iceberg，2018年11月16日进入Apache孵化器，2020 年5月19日从孵化器毕业，成为Apache的顶级项目。Iceberg是一个面向海量数据分析场景的开放表格式（Table Format）。表格式（Table Format）可以理解为元数据以及数据文件的一种组织方式，处于计算框架（Flink，Spark…）之下，数据文件之上。大数据领域发展至今已经经历了相当长时间的发展和探索，虽然大数据技术的出现和迭代降低了用户处理海量数据的
Iceberg与SparkSQL查询操作整合
最新发布
SunnyRivers
09-10 950
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。
Iceberg与SparkSQL写操作整合
SunnyRivers
09-09 962
spark操作iceberg之前先要配置spark catalogs，详情参考Iceberg与Spark整合环境配置。有些操作需要在spark3中开启iceberg sql扩展。Iceberg使用Apache Spark的DataSourceV2 API来实现数据源和catalog。
实践数据湖iceberg 第三十八课 spark sql， Procedures语法进行数据治理（小文件合并，清理快照）
spark_dev的博客
08-05 2359
从kafka源写入iceberg，会生成大量的小文件，合并小文件，有代码的方式，spark3结合iceberg0.11后，支持使用sql方式实现文件治理，本文记录 expire_snapshots,rewrite_manifests的运行效果与底层文件的变化
（5.2）kafka消费者源码——Fetcher类
weixin_43930865的博客
07-28 1094
Fetcher类的主要功能是发送Fetcher请求，获取指定消息集合，处理FetchResponse，更新消息位置。fetchedRecords处理已经获取的每个分区的记录，清空记录缓冲区并更新消耗位置。向分配分区的所在节点发送fetch请求，拉取数据sendFetches。此类管理broker上的的提取过程。...
数据湖（十八）：Flink与Iceberg整合SQL API操作
Lansonli（蓝深李）的博客
07-13 1577
文章目录Flink与Iceberg整合SQL API操作一、​​​​​​​SQL API 创建Iceberg表并写入数据1、创建新项目，导入如下maven依赖包2、编写Flink SQL 创建Iceberg表并写入数据3、在Hive中映射Iceberg表并查询二、​​​​​​​​​​​​​​SQL API 批量查询Iceberg表数据三、​​​​​​​​​​​​​​SQL API 实时查询Iceberg表数据四、​​​​​​​​​​​​​​SQL API指定基于快照实时增量读取数据Flink SQL 在操作
Iceberg 学习笔记
第一片心意的博客
08-15 1965
Iceberg 学习笔记。
线程池存在大量TIMED_WAITING状态线程
热门推荐
shiluoxuan的博客
07-07 2万+
线程池存在大量TIMED_WAITING状态线程
flink StreamGraph的具体代码和相关方法总结
wppwpp1的专栏
04-02 317
{ "nodes" : [ { "id" : 1, "type" : "Source: TableSourceScan(table=[[default_catalog, default_database, hulin_test_source]], fields=[id, age])", "pact" : "Data Source", "contents" : "Source: TableSourceScan(table=[[default_catalog, defaul.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值