数据实时接入部分的视频已于昨晚录制完成,由于视频中涉及实现思路和实现代码都来自生产项目,且经过作者多次熬夜录制完成,所以这套视频需付费观看,介意的朋友请见谅。
具体说明如下:
对《实时数仓架构那些事儿》系列文章感兴趣的朋友,强烈建议观看这套视频,视频中包含了实时计算最新实现方式。
第01节 课程简介、NiFi简介和安装
第02节 NiFi操作入门和内存设置
第03节 NiFi工具的通用开发思路
第04节 半结构化数据入库
第05节 List-fetch模式和getFile组件
第06节 理解NiFi中面向记录(Record-Oriented)的数据机制
第07节 NiFi表达式语言函数和记录路径函数简介
第08节 使用UpdateRecord组件更新FlowFile的内容
第09节 建设实时数仓,ETL工具要解决哪些问题
第10节 库对库数据同步详解
第11节 CDC数据接入数仓-实现思路
第12节 CDC数据接入数仓-组件详解
第13节 CDC数据接入数仓-组件详解(续)
第14节 CDC数据接入数仓-组件详解(续2)
第15节 CDC数据接入数仓-组件详解(续3)
第16节 CDC数据接入数仓-组件详解(续4)
第17节 CDC数据接入数仓--整体演示和优化
第18节 CDC数据接入Kudu
第19节 DDL变更如何自动化实时处理
第20节 NiFi中处理JSON格式数据的组件(总结)

该视频系列详细介绍了实时数据仓库的构建,重点讲解了NiFi的使用,包括NiFi的安装、操作入门、内存设置以及面向记录的数据处理机制。内容涵盖半结构化数据入库、ETL工具在解决数据同步问题中的应用、CDC(变更数据捕获)数据接入数仓的实现思路和组件详解,并探讨了DDL变更的实时处理方法,特别关注了JSON格式数据的处理组件。

被折叠的 条评论
为什么被折叠?



