从0到1搭建数据湖Hudi环境

已于 2024-09-24 19:50:34 修改
阅读量1w 收藏 29
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 大数据 Hudi 文章标签： 大数据 数据湖 Hudi Flink Spark
于 2022-04-10 21:09:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/aaron_ch/article/details/124081018

一、目标

        前面一篇博文中已经详细讲解过数据湖Hudi相关的一些基本概念，想学习下的，可以去看下。数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi_一个数据小开发的博客-优快云博客

        在本地构建可以跑Flink-Hudi、Spark-Hudi等demo的环境，本地环境是arm64架构的M1芯片，所以比较特殊，如果采用Hudi官网的docker搭建，目前不支持，本人也在Hudi的github上提过此类需求，虽得到了响应，但还是在部署的时候会出问题，然后基于其实Hudi就是一种对存储格式的管理模式，此格式可以是HDFS，也可以是各大云厂商的文件存储系统，例如阿里云的OSS，华为云的OBS等，都是可以支持的，所以本地只需要部署一套Hadoop架构就可以跑起来相关的案例。

二、搭建详情

需要搭建的组件列表：

组件名 版本号 描述备注
Flink 1.14.3

Apache Flink官网就可以下载到，下载的时候，

需要看清楚下载跟本地scala版本一致的flink版本
Spark 2.4.4 Apache Spark官网就可以下载到
JDK 1.8 Oracle官网就可以下载到
Scala 2.11.8 Scala官网可以下载到
maven  3.8.4 到官网下载即可
Hadoop 3.3.1

这里比较特殊，需要特殊说明下，如果本地电脑是arm64架构的，需要去下载arm64架构的

hadoop版本，如果是x86的就去下载x86的

arm64下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gzicon-default.png?t=O83Ahttps://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-aarch64.tar.gz

x86下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gzicon-default.png?t=O83Ahttps://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz
Hudi 0.10.1 自己git clone到本地的idea就行，后续编译需要
MySQL 5.7
最低0.47元/天 解锁文章

200万优质内容无限畅学
Doris 数据集成 Apache Hudi
08-06 1万+
对于 Hudi COW 表的查询或者 MOR 表的 Read Optimized 查询而言，其数据都属于基线数据，可直接通过 Doris 原生的 Parquet Reader 读取数据文件，且可获得极速的查询响应。作为一种全新的开放式的数据管理架构，湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求，在企业的大数据体系中已经得到越来越多的应用。语句来查看一个下方示例的查询中，分别有多少基线数据和增量数据。
CDC 数据入湖方案：Flink CDC ＞ Kafka ＞ Hudi
Laurence的技术博客
02-20 1166
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Json 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。文本是本博客的 CDC 数据入湖系列方案中最为基础的一套堆栈，架构上也比较简单，适合作为 POC 快速搭建 CDC 实时处理链路。如果寻求更加适用于生产环境的解决方案，请参考
Apache Doris + Apache Hudi 快速搭建指南｜Lakehouse 使用手册（一）
SelectDB
07-11 1000
技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。
如何建设一个企业级的数据湖
kcarly的专栏
01-26 1055
建设企业级数据湖是一个系统工程，需要从需求分析到实施运维的全过程进行规划和管理。通过合理的技术选型、科学的架构设计以及持续的优化改进，企业可以构建一个高效、安全且灵活的数据湖平台，为业务决策提供强有力的数据支持。构建高效的数据存储架构；采用先进的查询优化技术；实施严格的数据生命周期管理；利用云平台的按需计费模式；强化数据治理与安全措施。
构建一个“湖仓一体”（Data Lakehouse）系统
最新发布
dundunmm的博客
05-18 1576
构建“湖仓一体”系统的核心在于融合数据湖的灵活性与数据仓库的高性能分析能力。系统通常采用四层架构：数据接入层、存储层、计算层和服务层。关键步骤包括：数据采集与接入（如Kafka、Flink）、数据存储与治理（如HDFS、S3、DeltaLake）、计算与分析（如Spark、Flink）、服务与可视化（如Tableau、Superset）。系统需支持ACID事务、统一元数据管理、数据冷热分层和多引擎并存。推荐使用开源工具如Hudi、Iceberg、Trino等，部署方案可基于Kubernetes或Docker
数据湖搭建
yygyj的博客
09-30 659
数据湖
数据湖构建与计算
数据库技术
11-05 1316
摘要：2021云栖大会云原生企业级数据湖专场，阿里云智能高级产品专家李冰为我们带来《数据湖构建与计算》的分享。 本文主要从数据的入湖和管理、引擎的选择展开分享了数据湖方案降本增效的特性。 一、面临的挑战 数据如何入湖和管理 引擎如何选择 我们在前面的分享当中了解到了OSS将作为数据湖计算当中的中心化的存储。其实数据湖计算本质上就是输入来自各种云上的数据源，经过一系列的转化运算，最终能够支持上层计算的 BI 和 AI 的分析。那在整个数据湖的构建当中，其实我们需要考虑两个问题，一个是各种各样的数据
“数据湖”：概念、特征、架构与案例
数据库技术
06-03 1万+
写在前面： 最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。感谢南靖同学为本文编写了5.1节的案例，感谢西壁的review。 本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；
hudi集群环境搭建（hudi+hadoop+spark+zk+kafka）
m0_59092234的博客
09-07 1585
1）上传相关jar包至/root/hudi-jars。注意集群每个都需要配编号，分别为1、2、3。/opt/software ：软件压缩包。/opt/module ：解压后的软件。注意修改其他服务器的broker.id。上传解压至/opt/module。在slave2开启节点均衡计划。启动前格式化namenode。上传并解压hudi安装包。zookeeper目录下。
数据湖基本概念--什么是数据湖，数据湖又能干什么？为什么是Hudi
热门推荐
一个数据小开发的博客
04-06 2万+
数据湖概念首次于2010年被James Dixon在其博客帖子（Pentaho, Hadoop, and Data Lakes | James Dixon's Blog）中提及 ： 数据湖的权威定义（来自维基百科）：数据湖（Data Lake）是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据（如关系型数据库中的表），半结构化数据（如CSV、日志、XML、JSON），非结构化数据（如电子邮件、文档、PDF）和...
使用 Flink Hudi 构建流式数据湖
数据库技术
08-30 362
本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储，且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为： 1.背景 2.增量 ETL 3.演示 一、背景 近实时 从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时
数据湖构建（Data Lake Formation，DLF）
每天进步一点点
12-27 187
从零开始搭建一个数据湖架构
AI天才研究院
08-13 678
随着互联网数据量的增加、海量数据的产生和价值的释放，以及云计算、大数据、人工智能等新兴技术的广泛应用，数据湖(data lake)架构成为企业数据分析领域的热点话题之一。本文将从数据湖架构的定义、特点及结构三个方面对数据湖的基本概念、术语进行介绍。然后，将通过多个具体案例向读者展示如何利用开源工具构建一个数据湖。最后，我们将讨论未来的发展方向以及展望。数据湖，英文名Data Lake，即基于云端的数据仓库。
数据湖建设方案
dehuisun的专栏
04-05 1385
关注公众号小猿架构，发送 sjh免费获取 《数据湖建设方案》完整版。
数据湖搭建指南——几个核心问题
qq_46388795的博客
09-10 777
数据湖搭建指南——几个核心问题 1、什么是数据湖？ 数据湖是一种技术系统，可以大批量并且廉价的分析结构化和非结构化数据资产。 其实很简单，数据湖的最大魅力在于可以分析一切类型的数据。 自 2010 年首次提出“数据湖”一词以来，采用数据湖架构的组织数量呈指数级增长。 它们支持多种分析功能，从数据的基本 SQL 查询到实时分析，再到机器学习。 主要组成： 数据湖由四个主要组件组成：存储层、格式化层、计算层和元数据层。 2、为什么要使用数据湖？ 数据湖架构将数据资产整合到一个集中的存储.
Hudi-ubuntu环境搭建
weixin_56039103的博客
04-11 1311
二是基于日志，这也是业界广泛使用的一种方式，一般是通过binlog方式，变更的记录会写入binlog，解析binlog后会写入消息系统，或直接基于Flink CDC进行处理。一是基于查询的，客户端会通过SQL方式查询源库表变更数据，然后对外发送。这种 CDC 技术是入侵式的，需要在数据源执行 SQL 语句。，即变更数据捕获，主要面向数据库的变更，是是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。警告对于指令执行并没有什么影响，但还是看着不舒服，通过这种方式可以解决。
亿信华辰：一文详解数据湖及其搭建方法论 | 推荐收藏
esensoft123的博客
04-12 2743
数据湖作为新一代大数据基础设施，近年来持续火热。市场调研机构Research and Markets发布的报告显示，2020年，全球数据湖市场的价值为37.4亿美元，预计到2026年将达到176亿美元，在2021年至2026年的预测期间的复合年增长率为29.9％。 到底什么是数据湖？近几年来为何突然大热？企业应如何搭建数据湖？本文将会一一探讨解读以上问题。 —01— 什么是数据湖？ “数据湖”并不是一个新兴概念。 它最早是由一家开源BI公司Pentaho的CTO詹姆斯·...
大数据-数据湖建设
csdn_tiger1993的博客
07-17 3318
本篇文章主要介绍数据湖建设的一些方法论。
hudi数据湖教程
04-02
<think>好的，用户想查找关于Apache Hudi数据湖的使用教程。首先，我需要整理现有的引用资料，看看有没有相关的资源。引用[1]提到了Hudi的实战操作，包括与Spark和Flink的整合，这可能是一个有用的教程。引用[2]则直接提到了尚硅谷的数据湖Hudi视频教程，并且提供了B站和网盘链接，这应该是用户需要的主要资源。引用[3]讨论了Hudi的编译过程，虽然不是直接的使用教程，但可能对用户的环境搭建有帮助。 接下来，我需要将这些信息结构化，确保符合用户的要求。用户需要教程，所以应该优先推荐视频教程，比如引用[2]中的尚硅谷课程，同时补充实战操作指南和编译安装的步骤。此外，用户可能还需要了解Hudi的基本概念和应用场景，所以应该分步骤介绍，包括概述、环境准备、核心操作和进阶内容。 要注意使用中文回答，并且按照系统级指令中的格式要求，数学表达式用$...$，独立公式用$$...$$，但在这个问题中可能用不到数学公式，所以可能需要忽略这部分。不过需要检查是否有变量或技术术语需要特别标注，比如Hudi的版本号或组件名称。 另外，用户要求生成相关问题，需要根据回答内容提出三个相关的问题，例如关于环境配置、核心功能对比或与Flink整合的问题。同时，引用标识要自然地添加在引用的段落末尾，比如尚硅谷的教程在引用[2]，实战操作在引用[1]等。 最后，确保回答结构清晰，分步骤说明，涵盖用户可能需要的各个方面，从入门教程到实战操作，再到进阶学习资源。需要验证提供的链接是否有效，但用户给出的链接可能需要用户自行访问，所以只需按引用标注即可。</think>关于Apache Hudi数据湖的使用教程，以下是分步骤的详细指南和相关资源推荐： ### 一、基础环境准备 1. **源码编译（必选步骤）** Hudi需要根据具体环境（如Spark/Flink版本）进行定制化编译。从GitHub下载源码后执行： ```bash mvn clean package -DskipTests -Dscala-2.12 -Dspark3 ``` 编译参数需匹配本地环境（如Scala 2.12与Spark 3.x）[^3]。 2. **依赖组件安装** - Hadoop集群（HDFS/YARN） - Spark或Flink计算引擎 - 对象存储（如AWS S3/Azure Data Lake） ### 二、核心操作实战 1. **数据写入与更新** 使用Spark写入Hudi表，示例代码： ```scala val hudiOptions = Map( "hoodie.table.name" -> "hudi_table", "hoodie.datasource.write.operation" -> "upsert", "hoodie.datasource.write.recordkey.field" -> "id" ) df.write.format("hudi").options(hudiOptions).mode("overwrite").save("/hudi/output") ``` 支持`upsert`/`insert`/`bulk_insert`模式[^1]。 2. **Flink CDC实时同步** 通过Flink SQL实现MySQL到Hudi的实时同步： ```sql CREATE TABLE hudi_sink( id INT PRIMARY KEY, name STRING ) WITH ( 'connector' = 'hudi', 'path' = 'hdfs:///hudi/flink_cdc' ); ``` ### 三、教程资源推荐 1. **视频教程（新手首选）** - 尚硅谷《大数据新风口：Hudi数据湖》B站教程（含环境配置+实战案例）[^2] - 内容涵盖：Hudi架构、COW/MOR表类型对比、时间旅行查询 2. **文档资料** - 官方文档：https://hudi.apache.org/docs/next/quick-start-guide - 进阶特性：增量查询（`hoodie.read.incr`）、Clustering优化 3. **场景化案例** - 实时数仓构建：结合Kafka+Flink+Hudi实现分钟级延迟 - 数据湖分析：使用Presto/Trino查询Hudi表
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值