生态 | Apache Hudi集成Apache Zeppelin（转载）

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 392平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄10年

关注

转载最新推荐文章于 2026-08-11 13:09:07 发布 392 阅读 AI 写同款· GEO 优化 ›

基于zeppelin使用hive或Flink查询hudi的数据目录目标：一，导入jar 二，创建hudi表： mor： cow：写入数据：三，创建hive外部表四，查询结果五，问题总结最后提醒：目标：像iceberg一样，在hive能直接查询hudi表数据。一，导入jar 将hudi-hadoop-mr-bundle-0.9.0-SNAPSHOT.jar放入到hivelib下面；二，创建hudi表： mor： cow：写入数据：三，创建h... 阅读详情

https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA

收录于

Apache Hudi

当前文章被收录于：

Apache Hudi

3 篇文章 2 人学习

hudi学习，问题记录

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#数据湖 #Hudi

原文链接：https://mp.weixin.qq.com/s/_mNwL5uXSDYyqtLDPx0iDA>

Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType 目前没解决，本地代码可以运行，打包集群运行也没问题，可能是zeppelin哪里的依赖包冲突。 scala任务代码 Head default %flink.conf flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.11.2,com.alibaba:fastjson:1.2.60,org.apache.flink:flink-parquet_2.11:1.1... 阅读详情

相关推荐

大数据技术学习路线与核心框架解析

大数据技术作为现代数据处理的核心，涵盖数据采集、存储、计算和应用服务等多个层面。其核心原理基于分布式系统架构，通过Hadoop、Spark、Flink等框架实现高效的数据处理与分析。这些技术不仅提升了数据处理的吞吐量和实时性，还在电商推荐、金融风控、智慧城市等领域发挥关键作用。本文重点解析大数据技术栈的分层架构，包括Kafka、HDFS、Spark等核心组件，并提供从基础到实战的系统化学习路径，帮助开发者掌握大数据技术的核心要点。

445

Flink+Hudi 构架湖仓一体化解决方案

摘要：本文详细介绍了 Flink + Hudi 湖仓一体化方案的原型构建。主要内容为： Hudi 新架构与湖仓一体最佳实践 Flink on Hudi Flink CDC 2.0 on Hudi Tips：FFA 2021 重磅开启，点击「阅读原文」即可报名～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、Hudi 1. 简介 Apache Hudi (发音为 “Hoodie”)在 DFS...

zdy0_2004的专栏 1988

30分钟掌握沧湖一体化：flink+hudi

Hudi解决了以下限制 HDFS的可伸缩性限制需要在Hadoop中更快地呈现数据没有直接支持对现有数据的更新和删除快速的ETL和建模要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳。此过程不用执行扫描整个源表的查询 Hudi的优势 HDFS中的可伸缩性限制。 Hadoop中数据的快速呈现支持对于现有数据的更新和删除快速的ETL和建模（以上内容主要引用于：[Apache Hu

m0_66789766的博客 1213

Hudi 数据湖技术之集成Flink

目录 1 安装Flink 2 快速入门 2.1 集成Flink概述 2.2 环境准备 2.3 创建表 2.4 插入数据 2.5 查询数据 2.6 更新数据 3 Streaming query 3.1 创建表 3.2 查询数据 3.3 插入数据 4 Flink SQL Writer 4.1 Flink SQL集成Kafka 4.2 Flink SQL写入Hudi 4.2.1 创建Maven Module 4.2.2 消费Kafka数据 4.2.3 保存数据至Hudi 4.2.4 加载Hudi表数据

赵广陆 2191

apache zeppelin使用文档

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装

本次安装实验基于苹果m2芯片的mac系统，使用vmware fusion搭建三台ubuntu24分布式虚拟机，确保在三台机器上安装了Java jdk8，并配置了免密码登录，网络互通，防火墙关闭，授时服务器已经同步。访问apche官网源，下载3.3.4版本，我们用二进制通用版即可，因为hadoop运行在java环境，跨平台性使得无需编译arm架构版本。至此，Hadoop的安装完成，包括hdfs文件存储系统，mapreduce计算框架，yarn资源管理系统均能正常、稳定使用。

qq_31412425的博客 2160

基于zeppelin，Flink操作hudi 草稿

声明测试是CDH环境 Flink 1.12.2 hudi是最新版本 1，flinklib下面 hudi-flink-bundle_2.11-0.9.0-SNAPSHOT.jar 这个包是大佬编译的，解决了hive的依赖冲突，已经提到社区了，后续会合并到分支。 2，zeppelin操作 ...

qq_31866793的博客 511

图解凸函数与凹函数：别再被数学定义搞晕了！

本文通过图解和生活化类比，深入浅出地解释了凸函数与凹函数的数学定义及其与日常直觉的差异。文章详细介绍了凸函数的图像特征、数学定义（包括二阶导数判断）、在机器学习中的重要性，以及常见误区和实际应用中的判断技巧，帮助读者彻底理解这一关键数学概念。

weixin_29159441的博客 656

Flink 整合 hudi

Hudi 是一个开源的大数据存储和处理框架，通过提供数据表、写入、读取、更新和删除等功能，实现了高效的增量数据处理和数据管理。它广泛应用于大数据领域，为数据湖环境下的数据操作提供了强大的支持。不仅可以存储数据，也可以将元数据存在在其中。优点：不在只依赖于分布式的文件存储系统，对分布式具有解耦合，数据的存储位置可以不用固定，数据并不是只能存储在hdfs中了。主要的作用：计算引擎可以是Spark、Flink ，存储系统可以是HDFS、OSS、S3，所以可以解除计算引擎和存储系统之间的强耦合。

加油 456

ESP32之 ESP-IDF + Clion 开发环境搭建（二）—— Linux版

本文介绍了 Linux 下，使用Clion IDE 用官方 ESP-IDF 开发包进行 ESP32 开发的环境搭建

Augtons 的博客 6097

ArcGIS渔网分割实战：用Create Fishnet快速生成1km×1km网格（附GDP数据分析案例）

本文详细解析了ArcGIS中Create Fishnet工具在渔网分割中的应用，从基础操作到GDP空间分析全流程。通过1km×1km网格的创建与优化，实现经济数据的空间标准化和可视化表达，解决数据融合与分析的三大核心痛点。

weixin_29250403的博客 295

Apache Zeppelin 整合 Spark 和 Hudi

跟着大数据和AI去旅行 1584

PCL Trimmed ICP实现点云精配准【2025最新版】

博客长期更新，本文最新更新时间为：2025年6月25日。抄袭狗记得来抄最新代码哦，抄都抄成错的，不够丢人钱。

点云侠的博客 37万+

Zeppelin结合Flink查询hudi数据

关于Zeppelin Zeppelin是基于 Web 的notebook，是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。 Zeppelin支持多种语言后端，Apache Zeppelin 解释器允许将任何语言/数据处理后端插入 Zeppelin。目前 Apache Zeppelin 支持 Apache Spark、Apache Flink、Python、R、JDBC、Markdown 和 Shell 等多种解释器。简单来说就是，让你通过Web

从大数据到人工智能的博客 791

【测开求职】面试题：操作系统吐血整理

本篇文章是笔者为准备研究生复试和校招而写，因此主要针对问答，注重理解，而不在于细节计算。涵盖考研范围内的所有知识内容，读者可以先查看上面的链接走一遍操作系统的整体框架结构。其中，重点难点以及易混淆的知识点，笔者用其他文章进行了详述，在知识点处贴好了链接，有需要的可以查阅。另外操作系统在校招中有非常明显的重点，一般情况下只会考察进程管理，内存管理，和设备管理，且这三者考察频率依次递减，文件管理基本不会考察。

vector的博客 7908

Python3实现基于ARIMA模型来预测茅台股票价格趋势

ARIMA（Autoregressive Integrated Moving Average）模型是一种广泛使用的时间序列分析方法，它可以用于对未来的数据进行预测。ARIMA模型由自回归模型（AR模型）、差分整合模型（I模型）和移动平均模型（MA模型）组成，因此也被称为ARIMA(p,d,q)模型。其中，p表示自回归阶数，d表示差分阶数，q表示移动平均阶数。具体来说，ARIMA模型可以通过以下步骤进行建模：数据预处理：对时间序列进行平稳性检验，如果不满足平稳性，则进行差分操作。

m0_64336780的博客 2万+

MRS +Apache Zeppelin，让数据分析更便捷

选择轻量化、免运维、低成本的大数据云服务是业界趋势，如果搭建Zeppelin再同步自建一套Hadoop生态成本太高！因此我们通过结合华为云MRS服务构建数据中台。

华为云官方博客 1553

气象大模型光伏功率预测中的应用：从短期，超短期，中长期的实现与开源代码详解

本文详细介绍了基于大模型的光伏功率预测方法，涵盖超短期（15分钟-1小时）、短期（1-6小时）和中长期（1天-1周）预测。文章首先讨论了数据准备与预处理，包括历史功率、气象、天文和电站特性数据的收集与特征工程。随后，针对不同预测需求，提出了多种深度学习模型：超短期预测采用1DCNN-LSTM混合模型，短期预测使用Transformer模型，中长期预测则通过多尺度特征提取模型和概率预测方法处理不确定性。文章还提供了模型训练、评估、部署和优化的完整流程，并开源了代码实现。未来研究方向包括结合数值天气预报、开发时

专注AI大模型,软件混淆,授权 1573

融合7大领域！Apache Flink 在开源生态下的应用实践

大数据从诞生到蓬勃发展已有十余年之久，在这个过程中，大数据生态的计算引擎、存储、调度、容器、分析等子系统也都有了长足的发展。Apache Flink 作为业界领先的开源大数据计算引擎，以...

Ververica的博客 819

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具

Probability and Statistics - 4th edition

大数据每周分享第 008 期

这里记录过去一周，大数据相关值得分享的东西，每周日发布。 ![大数据技术周报008.png](https://img-blog.csdnimg.cn/img_convert/7603c51d5ff0df324823516ea187b4bb.png#clientId=ua66e4b71-bc36-4&from=ui&id=u7b90c074&margin=[object Object]&name=大数据技术周报008.png&originHeight=797&o

程序员小陶的大数据分享 414

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

数据全栈知识架构解析：从平台到应用的四层实战指南

在数据驱动的时代，数据处理已从单一工具演变为涵盖数据采集、存储、计算、管理和应用的全栈体系。其核心原理在于围绕数据的生命周期，通过分层架构实现价值转化。数据全栈的技术价值在于打通数据从产生到产生业务价值的完整链路，确保数据在规模、效率和可靠性上满足现代企业的需求。典型的应用场景包括实时数据分析、数据仓库构建、机器学习平台搭建以及数据治理等。本文以数据平台层、数据开发层、数据管理层和数据分析层这四层架构为主线，结合**数据治理**和**实时计算**等关键技术，系统阐述了如何构建一个高效、可靠的数据处理体系，并

weixin_34112181的博客 381

SpringBoot集成Hadoop

SpringBoot集成Hadoop，相关配置过程如下。默认在Linux下已经装好Hadoop集群（Hadoop-2.8.5）。一、集成HDFS 1、主要application.properties配置 #hdfs hdfs.url=hdfs://192.168.2.5:9000 hdfs.username=root hdfs.replication=2 hdfs.blocksize=67108864 2、主要pom.xml配置 <dependencies> <dependency&

egegerhn的博客 2467

Hudi-集成Flink(Flink操作hudi表)

一、安装部署Flink 1.12 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.准备tar包 flink-1.13.1-bin-scala_2.12.tgz 2.解压 tar -zxvf flink-1.13.1-bin-scala_2.12.tgz 3.添...

qq_38304392的博客 2055

基于Flink+Hudi构建企业亿级云上实时数据湖教程（PC、移动、小

随着互联网的发展，数据的不断膨胀，从刚开始的关系型数据库到非关系型数据库，再到大数据技术，技术的不断演进最终是随着数据膨胀而不断改变，最初的数据仓库能解决我们的问题，但是随着时代发展，企业已经不满足于数据仓库，希望有更强大的技术来支撑数据的存储，包括结构化，非结构化的数据等，希望能够积累企业的数据，从中挖掘出更大的价值。基于这个背景，数据湖的技术应运而生。本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。Hudi的出现解决了现有hadoop体系的几个问题：1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。本课程包含的技术：开发工具为：IDEA、WebStorm Flink1.9.0、HudiClickHouseHadoop2.7.5 Hbase2.2.6Kafka2.1.0 Hive2.2.0HDFS、MapReduceSpark、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.2.RELEASE SpringCloud Finchley.RELEASEVue.js、Nodejs、HighchartsLinux Shell编程课程亮点： 1.与企业接轨、真实工业界产品 2.ClickHouse高性能列式存储数据库 3.大数据热门技术Flink4.Flink join 实战 5.Hudi数据湖技术6.集成指标明细查询 7.主流微服务后端系统 8.数据库实时同步解决方案 9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 10.集成SpringCloud实现统一整合方案 11.互联网大数据企业热门技术栈 12.支持海量数据的实时分析 13.支持全端实时数据分析 14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。版权归作者所有，盗版将进行法律维权。

flink教程-flink 1.11 集成zeppelin实现简易实时计算平台

flink教程-flink 1.11 集成zeppelin实现简易实时计算平台大数据技术与应用实战文章目录背景 zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter 提交sql任务提交jar任务注意的点背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一.