
Apache Hudi
Apache Hudi
努力的平平
正在学习大数据计数,热衷于Spark学习
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
4、Apache Hudi:Spark读取Binlog并写入
1、数据准备使用canal将mysql binlog的数据发送到kafka中2、程序编写1、消费kafka中的binlog数据val kafkaParams = Map[String, String]( "bootstrap.servers" -> "xxx.xxx.xxx.xxx:9092", "auto.offset.reset" -> "latest", "key....原创 2019-12-11 15:11:45 · 3454 阅读 · 7 评论 -
2、Apache Hudi入门
1、编译github地址:https://github.com/apache/incubator-hudicd incubator-hudi-hoodie-0.4.7mvn clean install -DskipITs -DskipTests -Dhadoop.version=2.6.0-cdh5.13.0 -Dhive.version=1.1.0-cdh5.13.02、...原创 2019-12-11 14:23:20 · 2563 阅读 · 1 评论 -
1、Apache Hudi简介
参考文档:https://www.iteblog.com/archives/9660.html原创 2019-12-11 14:22:40 · 7108 阅读 · 0 评论