flink-cdc实时增量同步mysql数据到hive

已于 2022-09-16 16:50:23 修改
阅读量2.9k 收藏 10
点赞数 2
分类专栏： # Flink 文章标签： hive mysql flink
于 2022-09-16 14:23:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ddxygq/article/details/126889752
版权
本文介绍了如何利用Flink的CDC功能实时捕获MySQL的数据变化，并将其增量同步到Hive。首先，详细解释了CDC的概念，然后逐步指导读者进行环境准备，包括下载依赖包，并启动Flink SQL客户端。接着，演示了如何在Flink中操作Hive，解决可能遇到的问题，如添加特定的jar包。最后，详细阐述了通过两个步骤将MySQL数据同步到Hive的过程，包括创建与Kafka关联的Flink表和构建Hive表。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文首发于我的个人博客网站 等待下一个秋-Flink

什么是CDC？

CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

Flink_CDC

1. 环境准备

  • mysql

  • Hive

  • flink 1.13.5 on yarn

说明：如果没有安装hadoop，那么可以不用yarn，直接用flink standalone环境吧。

2. 下载下列依赖包

下面两个地址下载flink的依赖包，放在lib目录下面。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据】Flink CDC 实时同步mysql数据
congge
10-07 1万+
Flink CDC 实时同步mysql数据
【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步
热门推荐
congge_study的博客
10-13 1万+
springboot3 集成 Flink CDC 1.17 实现mysql数据同步
FlinkCDC+Hudi+Hive大数据实时入湖基础实战
zhaozhufeng的博客
12-03 5690
大数据实时入湖，flink+hudi+hive
「轻阅读」基于 Flink SQL CDC的实时数据同步方案，附视频教程
zhenghhgz的博客
11-02 4924
IT实战联盟博客：http://blog.100boot.cn 整理：陈政羽（Flink 社区志愿者）原文：https://mp.weixin.qq.com/s/QNJlacBUlkMT7ksKKSNa5Q Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行
FlinkCDC 实现 MySQL 数据变更实时同步
最新发布
m0_74823595的博客
03-05 1207
Flink CDC 是 Apache Flink 提供的一个功能强大的组件，用于实时捕获和处理数据库中的数据变更。FlinkSQLFlink DataStream 和 Table API（本文使用该方式）
FlinkSQL对接MySQL CDC写入数据到Hive
abcdlmk的博客
09-16 2415
对使用flink将mysql数据变化数据实时写入Hive的过程进行记录。包括mysql开启binlog，使用flinkcdc实时同步到kafka，并再使用flink将数据kafka中的数据流式写入Hive
flink cdc 整合 数据湖hudi 同步 hive
wudonglianga的专栏
02-18 5744
1. 版本说明 组件 版本 hudi 10.0 flink 13.5 hive 3.1.0 2. 实现效果 通过flink cdc 整合 hudi 到hive flink cdc 讲解 flink cdc 1.2实例 flink cdc 2.0 实例
flink数据同步mysql到hive_flink教程-flink 1.11 使用sql将流式数据写入hive
weixin_42238594的博客
02-23 808
修改hive配置上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇.altertabletable_namesetTBLPROPERTIES('is_generic'='false');altertabl...
flink数据同步mysql到hive_基于Canal与Flink实现数据实时增量同步(二)
weixin_42363231的博客
02-06 1306
背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS(Operational Data Store)数据。在互联网企业中，常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是...
flink-cdc初体验
gsw的博客
11-12 2145
flink-cdc是一款专用于数据库增量数据监控的插件。基于flink计算引擎提供的高性能，高可用性，高扩展性的数据监控功能。当前flink-cdc支持读取例如mysql，oracle，mongodb，tidb，postgres等常见的数据库类型
Flink-CDC增量数据同步
站上巨人的肩膀
11-09 2074
Flink-CDC做数据的增量同步，是数据仓库中数据采集的一环
flinksql MySQL 库实时增量接数据至hive库 脚本
weixin_32236415的博客
06-28 182
实时增量接数据至hive库流程 流程图 #render_6_1101466264-svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render_6_1101466264-svg .error-icon{fi...
flink-cdc同步mysql数据到hive
大数据技术派
09-30 1513
本文首发于我的个人博客网站: ikeguang.com什么是CDC？CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。Flink_CDC1. 环境准备mysqlHiveflink ...
Flink 1.14 的 mysql CDC 2.2实时增量同步使用
qq_44326412的博客
09-27 7196
Flink 1.14 的 mysql CDC 实时增量同步使用
有没有flink开发经验，用flink CDC connector读取mysql，再kafka消息推送到hive表中
weixin_41239249的博客
04-16 519
有没有flink开发经验，用flink CDC connector读取mysql，再kafka消息推送到hive表中 --------------------------------------------------------------------------------------------------------------- 求指教
Fink CDC数据同步（三）Flink集成Hive
不才伟才的博客
02-03 1770
Flink利用Hive的MetaStore作为持久化的Catalog，我们可通过HiveCatalog将不同会话中的 Flink元数据存储到Hive Metastore 中。Flink打通了与Hive的集成，如同使用SparkSQL或者Impala操作Hive中的数据一样，我们可以使用Flink直接读写Hive中的表。
Flink cdc如何只进行增量同步，不同步历史数据（只读取binlog)
偶尔写些东西，意思一下我也参与了内卷
04-17 1177
执行过后请停止任务从最新的checkpoints恢复，或者记录好checkpoints。否则下次仍然指定这种模式会丢失数据的，还有指定了这个模式不要写死，否则checkpoints会失效的，用参数的方式传入！
使用flink SQL Client将mysql数据写入到hudi并同步到hive
从大数据到人工智能的博客
09-24 1616
测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql hivemetastore hiveserver2 hdfs yarn hudi适配hive 3.1.2源码编译 0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件使用的flink-connector-hive
Flink-cdc写入hudi并使用hive和spark-sql查询(基于flink1.13.5和hudi0.10.0，flink-cdc2.1.1)
xiaosannimei的博客
12-26 2715
一、环境准备 flink1.13.5 flink-cdc 2.1.1 hudi-0.10.0 spark-3.1.2、hadoop-2.6.5、hive-1.1.0(cdh5.16版本) jar包: hudi-spark3-bundle_2.12-0.10.0.jar hudi-flink-bundle_2.11-0.10.0.jar flink-sql-connector-mysql-cdc-2.1.1.jar 二、flink-cdc写入hudi 1、mysql建表语句 creat
flink cdc mysql hive
08-31
Flink CDC是一种用于将MySQL数据同步到Hive的工具。要实现这个过程，需要分为两个步骤。第一步是将MySQL数据同步到Kafka，可以使用MySQL的binlog来实现数据的实时同步到Kafka。第二步是将Kafka中的数据同步到Hive，可以使用Flink SQL来进行数据的流转和处理。 在具体实施过程中，你可以按照以下步骤操作： 1. 启动Flink SQL客户端，使用以下命令进入Flink SQL命令行： ``` bin/sql-client.sh embedded -s flink-cdc-hive ``` 2. 在Flink SQL中创建一个表，使用`connector='upsert-kafka'`指定连接器为Kafka，并配置相关的参数，如Kafka的服务器地址、topic等。例如： ``` CREATE TABLE product_view_mysql_kafka_parser( `id` int, `user_id` int, `product_id` int, `server_id` int, `duration` int, `times` string, `time` timestamp ) WITH ( 'connector' = 'kafka', 'topic' = 'flink-cdc-kafka', 'properties.bootstrap.servers' = 'kafka-001:9092', 'scan.startup.mode' = 'earliest-offset', 'format' = 'json' ); ``` 3. 在Hive中创建一个目标表来接收数据，可以使用Hive的语法来定义表结构和存储格式。 4. 使用Flink的CDC功能将Kafka中的数据流转到Hive中的目标表。 这样，你就可以通过Flink CDC将MySQL的数据同步到Hive中了。更详细的信息可以参考官方文档。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [flink-cdc实时增量同步mysql数据到hive](https://blog.youkuaiyun.com/ddxygq/article/details/126889752)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值