hudi
文章平均质量分 75
wang972779876
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
flink-cdc
1.什么是CDC变化数据捕获,简称CDC。CDC是建立实时数仓的关键技术2.CDC的种类CDC总的可以分成两类,侵入式的和 非侵入式的,侵入式的会对源系统产生性能影响,概括可以分成以下几类,基于时间戳的CDC、基于触发器的CDC、基于快照的CDC。非侵入式的CDC一般是基于日志的,比如比较常见的canal的CDC 通过获取binlog获取变化数据。下表是几种CDC类型的特点(参考https://blog.youkuaiyun.com/wzy0623/article/details/53896343)原创 2021-07-29 10:14:24 · 5165 阅读 · 0 评论 -
hudi 测试程序
向hudi中写入数据1.添加maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --> <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclie原创 2021-07-27 10:11:51 · 641 阅读 · 0 评论 -
hudi学习一(初识hudi)
什么是hudiHudi(发音为“hoodie”)摄取与管理处于DFS(HDFS或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。读优化视图 - 在纯列式存储上提供出色的查询性能,非常像parquet表。 增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。 准实时的表 - 使用基于列存储和行存储(例如 Parquet +Avro)以提供对实时数据的查询通过仔细地管理数据在存储中的布局和如何将数据暴露给查询,Hudi支持丰富的数据生态系统,在该系统中,外部数据源..原创 2021-06-21 20:02:53 · 8790 阅读 · 0 评论
分享