Flink 实践教程-入门(8): 简单 ETL 作业

基于 Flink 的典型 ETL 场景实现 简介:本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手,综述数仓发展演进,然后分享基于 Flink 实现典型 ETL 场景的几个方案。 作者:买蓉 · 美团点评高级技术专家整理:赵阳(Flink 社区志愿者)校对:苗浩冲(Flink 社区志愿者) 本文将从数仓诞生的背景、数仓架构、离线与实时数仓的对比着手,综述数仓发展演进,然后分享基于 Flink 实现典型 ETL 场景的几个方案。 1.实时数仓的相关概述 1.1 实时数仓产生背景 我们先来回顾一下数据仓库的概念。 数据仓库的概. 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本示例使用流计算 Oceanus 平台的 ETL 功能,将 PostgreSQL 数据取出,经过时间转换函数处理后存入 PostgreSQL 中。用户无需编写 SQL 代码,只用在界面上进行简单的点击操作即可创建流计算 Oceanus ETL 作业。      

操作视频

前置准备

创建流计算 Oceanus 集群

进入流计算 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考流计算 Oceanus 官方文档 创建独享集群 [2]。

创建 PostgreSQL 实例

进入 PostgreSQL 控制台 [3],点击左上角【新建】创建实例,具体参考 创建 PostgreSQL 实例 [4]。进入实例数据库,创建表。


-- 用于 Source
CREATE TABLE public.oceanus8_output (
id         INT,
time_one   TIMESTAMP,
PRIMARY    KEY(id)
);

-- 手动插入数据
INSERT INTO public.oceanus8_output VALUES (1,'2020-10-01 18:00:00');
INSERT INTO public.oceanus8_output VALUES (2,'2021-10-01 18:30:24');

-- 用于 Sink
CREATE TABLE public.oceanus8_input (
id           INT,
transf_one   VARCHAR(50),
transf_two   TIMESTAMP,
const_four   INT,
PRIMARY      KEY(id)
);

笔者这里使用 DBeaver 进行外网连接,更多连接方式参考官网文档 连接 PostgreSQL 实例 [5]

流计算 Oceanus 作业

进入流计算 Oceanus 控制台 [1],点击左上角【新建】创建 ETL 作业,点击【开发调试】进入作业编辑页面。ETL 作业源端可以是 MySQL、PostgreSQL,目的端可以是 MySQL、PostgreSQL、ClickHouse 和 Elasticsearch。

1. 创建 Source

单击【数据源表】右侧【添加】按钮,选择 PostgreSQL ,选择并填写数据库表相关的信息。

2. 创建 Sink

单击【数据目的表】右侧【添加】按钮,选择 PostgreSQL ,选择并填写数据库表相关的信息。

3. 映射字段

编写需要创建映射字段的业务逻辑。这里使用 DATA_FORMAT 函数将 time_one 字段类型由 TIMESTAMP 映射为 STRING,使用 TIMESTAMPADD 函数将 time_one 字段增加一周,并将常量 1000 存入 const_str 字段。

图片

ETL 作业开发详见流计算 Oceanus 官方文档 ETL 开发指南 [6]。

添加数据源表和目的表后,可配置字段映射。字段映射分为原字段映射和新增字段映射两个部分。

原字段映射

在左侧的数据源表中可以勾选本次 ETL 作业需要从数据源表抽取的数据字段,并在右侧选择要加载进目的表的对应的映射字段名称。这样在数据源表中的数据就会复制加载到目的表中。

新增字段映射

字段生成方式有计算字段和常量字段两种。

  • 计算字段可以对从数据源表抽取出来的字段数据进行 内置函数 数值转换或者计算。

  • 常量字段可以输入一个自定义常量字段到目的源表相应的字段中。

字段取值

  • 计算字段:字段取值可以输入字段值或者表达式,对每个满足的输入源数据进行表达式计算。将计算结果返回到数据目的表所选的映射字段中。

  • 常量字段:字段取值可以输入字符串或者数字(输入类型与目的表类型要一致),这个常量字段取值将会加载到每一条数据目的表所选的映射字段中。

总结

流计算 Oceanus ETL 作业最简化了用户操作,开发人员甚至无需了解编程语言,只需要选择数据源表和目的表,并根据业务逻辑完成字段映射的配置,花费几分钟即可轻松启动 ETL 作业。 

计算字段:可以对从数据源表抽取出来的字段数据进行 内置函数 [7] 数值转换或者计算。  

常量字段:可以输入一个自定义常量字段到目的源表相应的字段中。 

参考链接

[1] 流计算 Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview  

[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298  

[3] PostgreSQL 控制台:https://console.cloud.tencent.com/postgres/index  

[4] 创建 PostgreSQL 实例:https://cloud.tencent.com/document/product/409/56961  

[5] 连接 PostgreSQL 实例:https://cloud.tencent.com/document/product/409/40429  

[6] ETL 开发指南:https://cloud.tencent.com/document/product/849/59839  

[7] 内置函数:https://cloud.tencent.com/document/product/849/18083  

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓

在这里插入图片描述



关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

网易游戏基于 Flink 的流式 ETL 建设 简介:网易游戏流式 ETL 建设实践及调优经验分享~ 网易游戏资深开发工程师林小铂为大家带来网易游戏基于 Flink 的流式 ETL 建设的介绍。内容包括: 专用 ETL EntryX 通用 ETL 调优实践 未来规划 一. 业务背景 网易游戏 ETL 服务概况 网易游戏的基础数据主要日志方式采集,这些日志通常是非结构化或半结构化数据,需要经过数据集成 ETL 才可以入库至实时或离线的数据仓库。此后,业务用户才可以方便地用 SQL 完成大部分数据计算,包括实时的 Flink SQL.. 阅读详情

相关推荐

使用 Flink CDC 构建 Streaming ETL: MySQL to ElasticSearch

假设我们正在经营电子商务业务,商品和订单的数据存储在 MySQL 中,订单对应的物流信息存储在 Postgres 中。对于订单表,为了方便进行分析,我们希望让它关联上其对应的商品和物流信息,构成一张宽表,并且实时把它写到 ElasticSearch 中。本教程的演示都将在 Flink SQL CLI 中进行,只涉及 SQL,无需一行 Java/Scala 代码,也无需安装 IDE。然后就可以在 http://localhost:5601/app/kibana/discover 看到写入的数据了.

Java_fenxiang的博客 1059

Flink大数据实时标签实时ETL -- 项目介绍1

Flink实时标签,实时ETL

AyubLIbra的博客 6002

基于Flink与Iceberg的零ETL实时数据入湖架构实践

在实时数据处理领域,流计算与数据湖表格式的融合正成为架构演进的重要方向。其核心原理在于通过流处理框架直接对接开放表格式,实现数据从消息队列到结构化表的无缝转换,省去传统ETL管道的复杂处理环节。这一架构的技术价值在于大幅降低端到端延迟、简化数据链路、提升运维效率,同时保证数据的一致性与实时可查询性。典型应用场景包括用户行为日志、IoT设备数据、交易订单等实时事件流的入湖分析。本文聚焦于Kafka到Iceberg的零ETL实践,深入解析了基于Flink SQL的极简实现方案,其中Flink作业和Iceberg

weixin_34387468的博客 771

Flink的实时数据仓库与ETL应用

1.背景介绍 在大数据时代,实时数据处理和ETL(Extract、Transform、Load)技术已经成为企业和组织中不可或缺的技术手段。Apache Flink是一种流处理框架,可以用于实时数据处理和ETL应用。在本文中,我们将深入探讨Flink的实时数据仓库与ETL应用,揭示其核心概念、算法原理、最佳实践以及实际应用场景。 1. 背景介绍 Flink是一个开源的流处理框架,由阿帕奇基金...

AI天才研究院 1764

利用Flink在大数据领域实现实时ETL

在大数据时代,企业和组织面临着海量数据的处理和分析需求。实时ETL(Extract, Transform, Load,即提取、转换、加载)是大数据处理流程中的关键环节,它能够将原始数据从不同的数据源中提取出来,进行必要的转换处理,然后加载到目标存储系统中,以便后续的数据分析和挖掘。本文的目的是详细介绍如何利用Apache Flink这一强大的流式计算框架在大数据领域实现实时ETL。

AI天才研究院 937

从零开始:使用Flink实现实时数据ETL全流程

在数据驱动决策的时代,数据的价值日益凸显。ETL(Extract, Transform, Load),即数据抽取、转换、加载,作为数据处理和集成的核心环节,负责将分散在各个数据源的数据抽取出来,经过清洗、转换、聚合等一系列处理后,加载到目标数据存储(如数据仓库、数据湖、OLAP数据库等)中,为后续的数据分析、报表生成和机器学习等应用提供高质量的数据支持。

软件工程实践的博客 822

Apache Flink Hive Connector 教程

Apache Flink Hive Connector 教程 1. 项目介绍 Apache Flink Hive Connector 是官方支持的用于连接Apache Flink与Apache Hive的数据集成工具。它允许Flink应用程序使用Hive元数据存储作为持久化的目录(HiveCatalog),并读写Hive表格。此外,Flink Hive Connector还提供了将Flink作为执...

gitblog_00769的博客 1335

实战 | Flink CDC 使用 CDC 构建 Streaming ETL

本文介绍了如何使用Flink CDC构建MySQL和Postgres的实时ETL流程。教程通过Docker环境部署了MySQL(存储商品和订单数据)、Postgres(存储物流信息)、Elasticsearch(数据接收器)和Kibana(数据可视化)等组件。详细演示了如何准备数据源(在MySQL中创建products/orders表,Postgres中创建shipments表并插入测试数据),以及如何配置Flink环境(下载依赖包)。最终目标是实现订单表与商品、物流信息的实时关联,构建宽表并写入Elast

SmartSi 1021

[实时计算flink]Flink SQL作业快速入门

本文通过简单的示例,带您快速体验Flink SQL作业的创建、部署和启动等操作,以了解Flink SQL作业的操作流程。

soso1968的博客 1136

解密网页视频Blob链接:从防盗链到流媒体分片技术

本文深入解析了网页视频中Blob链接的工作原理,揭示了其作为现代视频防盗链与流媒体分片技术核心的本质。文章详细阐述了Blob对象与Media Source API如何协同工作,将视频数据分片传输,并结合HTML5的video元素实现安全、流畅的播放体验,有效提升了资源保护能力。

c7d8e的博客 317

如何使用tinyalas接口从usb录音的同时从扬声器播放

3、 以上步骤确认完后,就可以修改tinyhostless.c程序,tinyhostless的本质就是边pcm_read(),边pcm_write();但原本tinyhostless只支持对同一声卡进行操作,所有需要修改其代码,改成录音和播放可支持不同声卡,如果是模拟声卡,有回环测试,可以实现边录边播放,但涉及USB声卡时,就没有现场的类似功能,有时候客户因为硬件特殊性,会有从USB录音的同时从扬声器播放出来的需求,本文简要描述如何使用tinyalsa接口实现该需求;

sdrgtywretyeruet的专栏 972

【Flink学习】入门教程之Data Pipelines & ETL

文章目录数据管道 & ETL无状态的转换`map()``flatmap()`Keyed Streams`keyBy()`通过计算得到键Keyed Stream 的聚合(隐式的)状态`reduce()` 和其他聚合算子有状态的转换Flink 为什么要参与状态管理?Rich Functions一个使用 Keyed State 的例子清理状态Non-keyed StateConnected Streams示例 原文地址 数据管道 & ETL Apache Flink 的一种常见应用场景是 ETL(

有问题的请私信或关注v【技术印记】留言 1181

【51单片机仿真】基于51单片机设计的多功能电子时钟日历(实时时钟闹钟秒表温度检测)系统__资料编号5

该项目是基于单片机的多功能电子时钟系统,集成了时间显示、闹钟设置、秒表功能以及温度显示等功能。主要硬件包括1602液晶显示屏、DS1302时钟芯片、DS18B20温度传感器和蜂鸣器。系统通过按键进行时间和闹钟的设置,并实时显示当前时间和温度。

嵌入式阿齐Archie 2万+

使用 Flink CDC 构建 Streaming ETL

安装并配置 Flink1.下载 Flink 1.20.0curl-k-O https://archive.apache.org/dist/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgz2.解压文件tar-xzvf flink-1.20.0-bin-scala_2.12.tgz3.移动到目标目录(可选)将解压后的 Flink 目录移动到/...

weixin_46007214的博客 1444

RT-DETR改进策略【RT-DETR和Mamba】| CVPR 2025:EfficientViM 压缩隐藏状态空间进行通道混合、单头设计减少内存操作,提升目标检测效率与精度

本文记录的是利用模块优化的目标检测网络模型。EfficientViM Block(基于隐藏状态混合器的状态空间对偶性模块) 的设计旨在,提升特征提取效率,同时兼顾全局依赖捕捉与局部细节保留。本文将深入研究的原理,并将其应用到中,通过重构特征提取流程、减少内存绑定操作、融合多阶段特征,增强模型在资源受限环境下的检测性能与速度。Depth Information Assisted Collaborative Mutual Promotion Network for Single Image DehazingLE

Limiiiing的博客 921

Vibe coding 氛围编程:编程就像聊天一样,低代码开发时代来了?

Vibe coding:编程就像聊天一样,低代码开发时代来了!

Code_流苏:在代码中寻诗意,在实践中觅真知 4810

Flink CDC入门实践--基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL

最近在学习Flink CDC相关的知识,作为小白就从官方的教学示例开始动手,本篇文章分享的是官方教程实践–基于 Flink CDC 构建 MySQL 和 Postgres 的 Streaming ETL。

不爱学习的小妞博客 2493

YOLOv8改进 | Neck篇 | Slim-Neck替换特征融合层实现超级涨点 (又轻量又超级涨点)

本文给大家带来的改进机制是Slim-neck提出的Neck部分,Slim-neck是一种设计用于优化卷积神经网络中neck部分的结构。在我们YOLOv8中,neck是连接主干网络(backbone)和头部网络(head)的部分,负责特征融合和处理,以便提高检测的准确性和效率。亲测在小目标检测和大尺度目标检测的数据集上都有大幅度的涨点效果(mAP直接涨了大概有0.4左右。同时本文对Slim-Neck的框架原理进行了详细的分析,不光让大家会添加到自己的模型在写论文的时候也能够有一定的参照。

Snu77的博客 1万+

Flink在大数据领域的实时ETL实践

在数据驱动决策的时代,实时数据处理已成为企业竞争的关键能力。Apache Flink作为新一代流处理引擎,凭借其卓越的性能和丰富的功能,正在成为实时ETL(Extract-Transform-Load)领域的事实标准。本文将深入探讨Flink在实时ETL场景下的核心原理、架构设计和最佳实践,从基础概念到企业级落地,为读者提供一套完整的技术指南。我们将通过理论分析、数学建模和实战案例,全面解析如何利用Flink构建低延迟、高可靠、可扩展的实时数据管道,帮助企业实现数据价值的实时释放。关键词。

Agentic AI人工智能与大数据正在引领一场新智能科技革命。 539

图文:银行核心账务处理逻辑(白话篇)

银行账务系统分为对内账(记录银行自身资产负债)和对外账(处理客户交易),通过特定编码规则的账号体系进行管理。采用T型账户结构和凭证制度确保每笔交易可追溯,通过明细核算与综合核算双线并行、每日轧账核对(科目日结单、总账、日计表)实现账务精准平衡。从业务触发到最终账平的全流程体现了银行账务"分层记录、双向核对、闭环校验"的核心原则,保障资金流动的透明性与安全性。

银行信息系统应用架构详解 544

MATLAB - 浮动基座机器人的逆运动学

本例演示如何解决以浮动底座为模型的机器人的逆运动学问题。浮动底座机器人可以在空间中自由平移和旋转,具有六个自由度。浮动基座机器人的逆运动学问题适用于空间应用,即使用安装在浮动和致动基座上的机械臂在空间操纵物体,也适用于躯干和腿部可在空间自由移动的行走机器人。请注意,刚体树对象表示具有固定基体的刚体树。这意味着刚体树的基体在世界中具有固定的位置和方向。您可以在基体上附加一个 “浮动 ”类型的刚体关节,为具有浮动基体的机器人建模,以用于动态模拟等某些应用。

机器人控制与仿真应用 2441

基于Flink CDC构建MySQL和PostgreSQL的Streaming ETL

基于Flink CDC构建MySQL和PostgreSQL的Streaming ETL ​ 本文将展示如何基于Flink CDC快速构建MySQL和PostgreSQL的ETL。本教程的演示将在Flink SQL CLI中进行,只涉及 SQL,不需要 Java/Scala 代码,也不需要安装 IDE。 ​ 假设我们正在经营电子商务业务,商品和订单的数据存储在MySQL数据库中,订单的物流信息存储在 PostgreSQL数据库中。对于订单表,为了方便进行分析,我们希望找到的相关商品和物流信息上对应的商品和

深思千年 2680

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

基于 Flink 的典型 ETL 场景实现方案

数仓架构演变,三种架构:lambda架构、kappa架构、实时olap架构。维表join,双流Join。

话数Science 2205

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 微信 ClickHouse 实时数仓的实践经验
下一篇: Flink 实践教程-入门(9):Jar 作业开发
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值