Hudi学习2：数仓和数据湖介绍

已于 2024-02-04 09:39:17 修改
阅读量306 收藏
点赞数
分类专栏： Hudi 文章标签： 学习 大数据 hudi 数据湖 湖仓一体
于 2023-05-24 11:05:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hzp666/article/details/130842539
版权

 

 

 数据湖解决了：

1.数仓无法存储非结构化数据（图像、音视频等）的问题

2.解决了数仓必须分层，数据湖直接存储原始数据，不需要分层，直接用于应用

数仓和数据湖的区别：

性价比：分层可能存在冗余

 

 

数仓基础（六）：数仓架构演变
Lansonli（蓝深李）的博客
08-23 1585
但是很快，他们也发现自己陷入了某种困境：随着数据集市的不断增多，这种架构的缺陷也逐步显现，公司内部独立建设的数据集市由于遵循不同的标准和建设原则，以致多个数据集市的数据混乱和不一致，解决以上问题，还需回归到范式建模。在Lambda架构中，为了计算一些实时指标，就在原来的离线数仓基础之上增加了一个实时计算的链路，并对数据源做流式改造：把消息发送到消息队列中（大数据中常用Kafka），实时计算去消费消息队列中的数据，完成实时指标计算，推送到下游的数据服务中去，由数据服务层完成离线与实时结果的合并。
数据湖及湖仓一体化项目学习框架
Lansonli（蓝深李）的博客
10-09 4418
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但又很重要，这里我就不在详述作用，有兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标这个栏目为初学者全面整理数据湖必学知识，内容是按照体系划分的，带你从基础知识到项目实战，想学会就得自律加坚持，赶快行动吧。1、数据湖技术Hudi。
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
wudonglianga的专栏
02-20 8255
1.架构图 2.实现实例 2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中 2.2 实现思路 1.在flinksql 中创建flink cdc 表 2.创建视图(用两张表关联后需要的列的结果显示为一张速度) 3.创建输出表，关联Hudi表，并且自动同步到Hive表 4.查询视图数据，插入到输出表 -- flink 后台实时执行 2.3pom 文件需要的类 <?xml version="1.0" encoding="UTF
湖仓一体-hudi
doudoudouy的博客
04-30 840
hudi数据湖
实时数仓之实时数仓架构(Hudi)
道可道非常道
03-27 1983
Flink和Hudi组合实现湖仓一体架构，目前也是业界讨论比较多的一套架构方案，这也得益于Flink和Hudi社区的快速发展，对于组件的特性支持越来越丰富。历史实时数据对齐：如果底层面向业务过程设计，那么根据合理的时间戳属性，是可以严格区分历史数据和实时数据区别的，这种情况可以考虑通过离线数据补全缺失数据。事实表按照业务过程建设，一般业务过程数据不存在更新所以单个key也不存在重复发射的情况，即使存在数据重发，也可以通过ETL规则提前规避掉，这种思路对于下游数据任务加工都比较友好。
Hudi核心知识点详解——快速入门数据湖
Maynor的博客
05-10 9256
Hudi的入门文章
大数据Hadoop之——新一代流式数据湖平台 Apache Hudi
wr_java的博客
04-14 1151
简称Hudi，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、 一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询。Apache Hudl本身不存储数据，仅仅管理数据，借助外部存储引擎存储数据，比如HDFS；此外，Apache Hudi也不分析数据，需要使用计算分析引擎，查询和保存数据,比如Spark或Flink；
解锁Hudi+Spark：大数据处理的超强组合拳
敏叔
02-05 955
在大数据领域，数据的存储和处理是两大核心任务。Hudi（Hadoop Upserts Delete and Incremental）作为一种新兴的数据湖存储框架，正逐渐崭露头角，它为大规模数据集提供了高效的增量数据处理和实时数据更新能力。而 Spark，作为大数据处理领域的明星框架，以其快速的内存计算、丰富的 API 和强大的分布式处理能力，在批处理、流处理以及机器学习等多个场景中广泛应用。
数据湖Hudi操作文档和实例代码
06-03
这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中...
2024年大数据最全实时数仓之实时数仓架构(Hudi)(2)，2024年最新附带学习经验
2401_84591930的博客
05-09 441
基于Hudi湖仓一体架构虽然实时性比离线数仓要高很多，但是对比纯实时数仓而言，其延迟性一般在分钟级(到终端引用可能要延迟10~15分钟时间)，对于某些实时性要求较高场景并不适合。IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！采用维度模型标准三层架构，ODS/DWD/DWS/DIM/ADS，分层架构符合Kimball维度模型建仓指导原则。
基于Apache Hudi新一代数据湖实践
kejietech的博客
07-13 994
近期，科杰科技湖仓一体智能平台keendata lakehouse成功通过全国首批云原生数据湖评测，平台在存储能力、计算能力、安全能力、数据管理能力、湖应用能力、兼容能力、高可用能力等方面均获得权威认可！...
数据湖hudi技术详解
sunxunyong的博客
07-03 1856
Hudi数据模型Hudi将数据分为三个层次：文件（File）、记录（Record）和时间线（Timeline）。文件（File）：文件是存储在HDFS上的数据单元，包含了一组记录。每个文件都有一个唯一的文件ID，用于标识文件。文件可以追加数据记录，也可以被删除。记录（Record）：记录是文件的最小数据单元，可以是JSON、CSV等格式。每个记录都有一个唯一的键（Key），用于标识记录。记录可以插入、更新和删除。时间线（Timeline）：时间线用于管理文件的版本。
数据湖 Hudi 核心概念
JIE的博客 --- moon_coder
04-21 1321
Hudi 是一个用于处理大数据湖的开源框架。大数据湖是指一个大规模的、中心化的数据存储库，其中包含各种类型的数据，如结构化数据、半结构化数据和非结构化数据，目的是为企业提供一个集中的数据存储库，从而更容易地进行数据分析和洞察。InsertUpdate和Delete。这些操作是原子性的，因此在多个客户端并发访问时，数据的一致性得到了保证。另外，Hudi 支持基于时间戳的查询，使得可以轻松地查询某个时间点的数据快照。Hudi 还支持增量式处理，可以高效地处理大量的数据更新。
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 3361
数据湖浅析
使用Hudi构建数据湖：集成Minio、Hive、Spark和Flink
BitNetT的博客
09-24 623
在大数据处理领域，数据湖已成为一种流行的数据存储和处理模式。它提供了一种灵活的架构，可以将结构化和非结构化数据存储在原始格式中，同时支持各种数据处理工具和框架。本文将介绍如何使用Hudi（Apache Hudi）构建一个数据湖，并将其集成到Minio对象存储、Hive、Spark和Flink中。Hudi是一个开源的数据湖解决方案，它提供了一种用于管理和处理数据湖的存储和索引机制。Hudi支持多种数据格式，包括Parquet和Avro，可以在数据湖中实现插入、更新和删除操作。
基于 Apache Hudi 和 Apache Spark Sql 的近实时数仓架构分享
苏苏爱自由
11-04 1249
在大数据的计算场景中，根据数据的延迟情况，数据的时效性一般分为离线、准实时、实时。离线计算一般是以天（T）为界限，比如离线场景最多的就是T-1计算，也就是今天计算昨天产生的数据。准实时计算一般以小时（H）为界限，比如H-1的计算，即当前小时处理上个小时的数据，当然某些业务场景下也有（0.5H-1）计算的存在。而实时计算一般是以秒为界限，即数据的延迟最大粒度为秒级。对于离线和准实时计算，我们可以在调度系统中通过不同的调度周期实现，而实时计算通常需要一个常驻的任务来进行。
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
Kyligence
04-12 1372
在近期的Apache Kylin × Apache Hudi Meetup直播上，Apache Kylin PMC Chair 史少锋和 Kyligence 解决方案工程师刘永恒就 Hudi + Kylin 的准实时数仓实现进行了介绍与演示。下文是分享现场的回顾。 我的分享主题是《基于 Hudi 和 Kylin 构建准实时、高性能数据仓库》，除了讲义介绍，还安排了 Demo 实操环节。下面是...
数据湖之Hudi（1）：什么是数据湖
yang_shibiao的博客
02-20 3693
目录 0. 相关文章链接 1. 什么是数据仓库 2. 什么是数据湖 3. 数据仓库Data Warehouse与数据湖DataLake 区别 4.湖仓一体DataLake House 5. 数据湖总结 0. 相关文章链接 大数据基础知识点 文章汇总 1. 什么是数据仓库 数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Supp.
Hudi数据湖-基于Flink、Spark湖仓一体、实时入湖保姆级教学
xiaoyixiao_的博客
06-11 3696
Hudi数据湖-Flink、Spark湖仓一体、实时入湖保姆级教学
hudi学习路线
最新发布
03-11
<think>好的，我现在需要帮用户规划Hudi的学习路径，从入门到精通。首先，我应该先回顾用户提供的引用内容，特别是引用[2]和引用[4]，因为用户提到了Hudi是三大开源数据湖方案之一，并且数仓开发的核心技能需要扎实掌握。用户可能已经有一定的大数据基础，但需要系统的学习路线。 首先，用户需要了解Hudi的基础概念，比如它的核心特性、适用场景。根据引用[2]，Hudi主要用于数据湖的更新和增量处理，所以这部分应该作为入门的第一步。然后，安装和配置Hudi的环境是必要的，用户可能需要实际操作来加深理解，比如在Hadoop或Spark上部署。 接下来是核心功能的学习，比如表类型（COW和MOR）、写入和查询操作。这部分需要结合文档和示例代码，用户可能需要动手实践。然后，集成其他大数据组件如Spark、Flink、Hive，这部分很重要，因为实际项目中Hudi通常会和这些工具一起使用。 进阶部分包括存储管理、索引机制和时间轴，这些是优化性能的关键。用户可能需要深入理解这些机制来提升数据处理效率。数据湖架构设计方面，引用[4]提到数仓开发需要扎实的核心技能，所以这部分需要结合实际案例，学习如何设计高效的数据湖。 项目实战是巩固知识的关键步骤，用户需要通过真实场景的应用来掌握Hudi，比如实时数仓或CDC处理。最后，持续学习社区资源和优化技巧，保持对Hudi新功能的了解。 用户可能还需要推荐的学习资源，比如官方文档、书籍、视频教程，以及社区和训练营。根据引用[3]，建议用户不要局限在代码层面，要关注整体方向，所以学习路径中需要包含架构设计的内容。 最后，生成相关问题，帮助用户进一步探索，比如性能优化、与其他数据湖框架对比等。这些问题能引导用户深入学习和解决实际问题。</think>### Hudi 学习路线图（入门到精通） #### 一、基础认知阶段 1. **核心概念理解** - 学习数据湖概念与三大开源方案对比（Hudi vs Delta Lake vs Iceberg）[^2] - 掌握 Hudi 的核心特性： - 支持事务、更新、删除（传统数据湖不具备） - 增量查询（`Incremental Pull`） - 自动合并小文件（`Clustering`） 2. **环境搭建** - 在 Hadoop/Spark 集群上部署 Hudi（需先掌握基础环境配置） - 使用 Docker 快速体验 Hudi 功能（推荐官方示例仓库） --- #### 二、核心功能实践 1. **基础操作** - 表类型选择： - `COW（Copy-On-Write）`：适用于高频更新场景 - `MOR（Merge-On-Read）`：适用于高频写入场景 - 实现数据写入与查询： ```python # Spark 写入示例（Python API） hudi_options = { 'hoodie.table.name': 'user_table', 'hoodie.datasource.write.recordkey.field': 'id', 'hoodie.datasource.write.precombine.field': 'timestamp' } df.write.format("hudi").options(**hudi_options).mode("append").save("/hudi_data") ``` 2. **组件集成** - 与 Spark 流处理结合（`Structured Streaming`） - 集成 Flink 实现实时数据湖 - Hive 外部表映射 Hudi 数据集 --- #### 三、进阶优化 1. **存储管理** - 文件压缩策略（`Compaction`）配置 - 索引机制优化（`Bloom Filter` vs `HBase Index`） - 时间轴（`Timeline`）数据追溯与回滚 2. **数据湖架构设计** - 基于 Hudi 的实时数仓分层设计（ODS -> DWD -> DWS） - CDC（变更数据捕获）场景实践[^4] --- #### 四、学习资源推荐 1. **官方文档** - [Hudi 官网](https://hudi.apache.org/)（必读核心文档） - GitHub 官方示例代码库 2. **书籍与视频** - 书籍：《Apache Hudi 实战》（需搭配环境实操） - 视频：B 站《Hudi 从原理到源码解析》系列教程[^3] 3. **社区与训练营** - 参与 Hudi 社区 Meetup（关注 GitHub Discussions） - 报名数据湖实战训练营（推荐结合 Spark/Flink 综合项目） ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值