Flink 实践教程-入门(7):消费 Kafka 数据写入 PG

Flink消费kafka数据 Flink消费kafka数据 import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.str 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将您详细介绍如何利用 Python 脚本发送模拟数据到 CKafka 中,之后取 CKakfa 的数据经过简单的算术函数转换存入到 PostgreSQL 中。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 Oceanus 控制台 [1],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档 创建独享集群 [2]。

创建消息队列 CKafka

进入 CKafka 控制台 [3],点击左上角【新建】,即可完成 CKafka 的创建,具体可参考 CKafka 创建实例 [4]。

创建 Topic:

进入 CKafka 实例,点击【topic 管理】>【新建】,即可完成 Topic 的创建,具体可参考 CKafka 创建 Topic [5]。

数据准备:
  • Kafka 客户端:
    进入同子网的 CVM 下,启动 Kafka 客户端,模拟发送数据,具体操作参见 运行 Kafka 客户端 [6]。
  • 使用脚本发送:
    • Java:参考 使用 SDK 收发消息 [7]
    • Python:参考如下代码
#!/usr/bin/python3
# 首次使用该脚本,需 "pip3 install kafka" 安装kafka模块
import json
import random
import time
from kafka import KafkaProducer

broker_lists = ['10.0.0.29:9092']
topic_oceanus_quickstart = 'oceanus7_test1'

producer = KafkaProducer(bootstrap_servers=broker_lists,
                         value_serializer=lambda m: json.dumps(m).encode('ascii'))

def generate_oceanus_test_data():
    results = []
    for _ in range(0, 10):
        int_one = random.randint(1000,10000)
        int_two = random.randint(1,10)
        random_thr = random.random()
        msg_kv = {"int_one":int_one,"int_two":int_two,"random_thr":random_thr}
        results.append(msg_kv)
    return results

def send_data(topic, msgs):
    for msg in msgs:
        import time
        time.sleep(1)
        producer.send(topic, msg)
        print(msg)
    producer.flush()

if __name__ == '__main__':
    count = 1
    while True:
        msg_oceanus_test_data = generate_oceanus_test_data()
        send_data(topic_oceanus_quickstart, msg_oceanus_test_data)
        time.sleep(30)

创建 PostgreSQL 实例

进入 PostgreSQL 控制台 [8],点击左上角【新建】创建实例,具体参考 创建 PostgreSQL 实例 [9]。进入实例数据库,创建 oceanus7_test1 表。

-- 建表语句
create table public.oceanus7_test1 (
  id            INT,
  random_thr    DOUBLE PRECISION,
  PRIMARY KEY(id)
);

笔者这里使用 DBeaver 进行外网连接,更多连接方式参考官网文档 连接 PostgreSQL 实例 [10]

流计算 Oceanus 作业

1. 创建 Source
CREATE TABLE `kafka_json_source_table` (
    int_one      INT,
    int_two      INT,
    random_thr   DOUBLE
) WITH (
  'connector' = 'kafka',
  'topic' = 'oceanus7_test1',                -- 替换为您要消费的 Topic
  'scan.startup.mode' = 'earliest-offset',   -- 可以是 latest-offset / earliest-offset / specific-offsets / group-offsets / timestamp 的任何一种
  'properties.bootstrap.servers' = '10.0.0.29:9092',  -- 替换为您的 Kafka 连接地址
  'properties.group.id' = 'oceanus_group2',  -- 必选参数, 一定要指定 Group ID
  -- 定义数据格式 (JSON 格式)
  'format' = 'json',
  'json.fail-on-missing-field' = 'false',    -- 如果设置为 false, 则遇到缺失字段不会报错。
  'json.ignore-parse-errors' = 'true'        -- 如果设置为 true,则忽略任何解析报错。
);
2. 创建 Sink
CREATE TABLE jdbc_sink (
  id            INT,
  random_thr    DOUBLE,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',             -- connector 类型为'jdbc'
  'url' = 'jdbc:postgresql://10.0.0.236:5432/postgres?currentSchema=public&reWriteBatchedInserts=true',      -- 请替换为您的实际 PostgreSQL 连接参数
  'table-name' = 'oceanus7_test1',  -- 需要写入的数据表
  'username' = 'root',              -- 数据库用户名(需要提供 INSERT 权限)
  'password' = 'Tencent123$',       -- 数据库密码
  -- 数据目的 Sink 性能调优参数
  'sink.buffer-flush.max-rows' = '5000',  -- 可选参数, 表示每批数据的最大缓存条数, 默认值是 5000
  'sink.buffer-flush.interval' = '2s',    -- 可选参数, 表示每批数据的刷新周期, 默认值是 0s
  'sink.max-retries' = '3'                -- 可选参数, 表示数据库写入出错时, 最多重试的次数
);
3. 编写业务 SQL
INSERT INTO jdbc_sink
SELECT
  MOD(int_one,int_two)    AS id,
  TRUNCATE(random_thr,2)  AS random_thr
FROM kafka_json_source_table;

总结

本例使用 Python 自动化脚本模拟数据输入到 CKafka,经过简单的算术函数转换后存入 PostgreSQL 中。更多算术函数请参考 算数函数 [11]。

参考链接

[1] Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview
[2] 创建独享集群:https://cloud.tencent.com/document/product/849/48298
[3] CKafka 控制台:https://console.cloud.tencent.com/ckafka/index?rid=1
[4] CKafka 创建实例:https://cloud.tencent.com/document/product/597/54839
[5] Ckafka 创建 Topic:https://cloud.tencent.com/document/product/597/54854
[6] 运行 Kafka 客户端:https://cloud.tencent.com/document/product/597/56840
[7] 使用 SDK 收发消息:https://cloud.tencent.com/document/product/597/54834
[8] PostgreSQL 控制台:https://console.cloud.tencent.com/postgres/index
[9] 创建 PostgreSQL 实例:https://cloud.tencent.com/document/product/409/56961
[10] 连接 PostgreSQL 实例:https://cloud.tencent.com/document/product/409/40429
[11] 算术函数:https://cloud.tencent.com/document/product/849/18080

在这里插入图片描述
关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站 Get~

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓
在这里插入图片描述

flink 实时数仓构建与开发[记录一些坑] flink 实时数仓构建与开发 阅读详情

相关推荐

Flink 实践教程:将 Kafka 数据写入 PostgreSQL

Flink 是一个强大的分布式流处理框架,而 Kafka 是一个高吞吐量的分布式消息队列。在本教程中,我们将学习如何使用 Flink 将从 Kafka 主题中消费的数据写入到 PostgreSQL 数据库中。首先,我们需要设置一个 Flink 环境并导入所需的依赖项。接下来,我们将创建一个 Flink 应用程序,该应用程序从 Kafka 主题中消费数据并将其写入 PostgreSQL 数据库。请注意,上述代码示例中的写入操作是简单的插入语句。根据您的需求,您可以根据实际情况选择更适合的写入操作。

VqhhMobile的博客 766

FLink-jdbcsink读取kafka数据写入postgres

记录一次使用FLink流式读取kafka数据并用jdbcsink写入postgres时,遇到的问题:即:程序正常运行,但写入没有反应,数据库中无记录。

qq_41685616的博客 2408

flink将数据写入到kafka

flink将数据写入到kafka

congge_study的博客 4747

Flink-SQL 写入PostgreSQL 问题汇总

​。

dymkkj的专栏 3117

避开这5个坑!用MATLAB做核密度估计时90%人会犯的错误

本文详细解析了使用MATLAB进行核密度估计时常见的5个高频错误,包括三维数据可视化、带宽参数优化、大数据量处理、核函数选择及版本兼容性问题。特别针对核密度估计中的关键参数带宽(bandwidth)提供了数据驱动的优化策略,帮助用户提升分析精度与效率。

jenkins8butler的博客 278

手把手教你用内核远程call实现64位进程注入(附完整ShellCode示例)

本文深入探讨了在Windows 64位环境下,通过内核态直接操作线程TrapFrame结构实现进程注入的高级技术。文章提供了从驱动框架设计、用户态-内核态通信,到定位修改TrapFrame、编写Shellcode及执行环境恢复的完整实战指南,并附有详细的代码示例,为安全研究人员和开发者提供了绕过用户态检测、实现底层远程代码执行的新思路。

weixin_28396629的博客 346

Flinksql 读写pgsql

2 踩坑 如果pgsql使用了schema,name此时表名需要``转义,否则会报找不到medical object

m0_50670853的博客 2202

自动驾驶开发者必看:如何用Impromptu VLA数据集提升模型在乡村道路的表现(附实战代码)

本文为自动驾驶开发者提供了利用Impromptu VLA开源数据集提升模型在乡村道路等极端场景表现的实战指南。该数据集专门针对边界模糊道路、非常规障碍物等非结构化环境,通过精选的8万多个极端场景片段,帮助模型弥补数据分布偏差。文章详细介绍了环境搭建、数据准备、模型微调及性能评估的全流程,并附有实战代码,旨在系统性提升自动驾驶系统在长尾场景下的鲁棒性。

t8u9v0w1x的博客 244

flink 消费kafka数据写入pg库表的数据无法回撤

flink 消费kafka数据写入pg库表的数据无法回撤 架构描述: 1、实时数仓分层:ods->dwd->dws->出BI报表 2、ods层 使用debezium采集pg数据写到kafka,debezium 过滤物理删除操作[不监控pg库物理删除] ; 且部分 ods 表使用了union all 3、dwd层 flink 实时消费kafka数据[ods]写入dwd 【双写:1.计算后重新写回kafka ; 2.写到pg库】 4、dws层 flink 实时消费 kafka 数据

a123147abc的博客 1309

人工智能的未来:从弱 AI 到通用人工智能(AGI)

从最初的简单自动化程序,到如今的深度学习大模型(如 ChatGPT、DeepSeek、Grok),AI 逐步从弱人工智能(Weak AI)向更智能、更自主的方向发展。AI 的发展将影响就业市场,取代重复性、低技能的工作,同时创造新的高技能岗位。尽管深度学习带来了巨大的进步,但它仍然依赖大量标注数据进行训练,对新环境的泛化能力有限,这也是当前 AI 迈向 AGI 的关键障碍之一。本文将探讨 AI 从弱 AI 进化到 AGI 的可能性,分析目前 AI 技术的局限性,并展望未来 AI 在各个行业的影响。

qq_20245171的博客 1万+

Unity URP 深度解析:利用Stencil与RenderFeature实现高效遮挡高亮

本文深入解析Unity URP中利用Stencil与RenderFeature实现高效遮挡高亮的技术方案。通过模板缓冲机制和自定义RenderFeature,开发者可以在保持场景完整性的同时,清晰标识被遮挡物体位置,提升游戏体验。文章详细介绍了Shader编写、URP管线配置及性能优化技巧,并提供了常见问题排查方法。

weixin_29012677的博客 482

flink读取kafka写入Oracle,实战场景 Flink读取kafka数据,处理以后写入到ElasticSearch

添加pom:org.apache.flinkflink-connector-kafka-0.9_2.111.6.1代码:import java.util.Propertiesimport org.apache.flink.streaming.api._import org.apache.flink.streaming.connectors.kafka._import org.apache.flin...

weixin_40003767的博客 991

仿真模型简单介绍

同时,各种以伯克利的Spice仿真程序的算法为核心的商用Spice电路仿真工具也随之产生,运行在PC和UNIX平台,许多都是基于原始的SPICE2G6版的源代码,这是一个公开发表的版本,它们都在Spice的基础上做了很多实用化的工作,比较常见的Spice仿真软件有HSpice、Pspice、Spectre、Tspice、SmartSpcie、IsSpice等,虽然它们的核心算法雷同,但仿真速度、精度和收敛性却不一样,其中以Synopsys公司的Hspice和Cadence公司的Pspice最为著名。...

小幽余生不加糖 8009

记flink sql cdc消费kafka数据,sink到pg表数据漏数原因排查

记flink sql cdc消费kafka数据,sink到pg表数据漏数排查[原因分析] flink sql insert into t3 select cast(t1.a as varchar(100)) || cast(t1.b as varchar(100)) as id, -- 组合主键id t1.a ,t1.b ,t2.c ,sum(d) from t1 join t2 on t2.id = t1.id group by t1.a,t1.b,t2.c 现象与环境描述 1、flink

a123147abc的博客 2227

GPU硬件架构与微架构深度解析09-GPU寄存器文件深度解析

本文探讨GPU架构中大规模寄存器堆的设计与高效分配算法。寄存器文件作为GPU关键组件,支持大规模线程并行和快速数据存取。文章分析了多体寄存器堆的设计考量,包括端口数量、冲突避免和功耗管理,并比较了线性扫描、图着色等寄存器分配算法的特点。还介绍了寄存器压缩、动态分区等高级优化技术,以及NVIDIA Ampere架构的实际案例。这些技术对提升GPU计算性能和能效至关重要。

2301_79143213的博客 122

26. Fabric2.2 司法存证的智能合约分析

有很多同学反馈 Fabric 智能合约读起来比较费劲,对于新手不友好看不懂,这里选择一个司法存证的智能合约,阅读、分析智能合约基础框架与核心流程代码,培养大家智能合约编写的方法论。

菜鸟的博客 1340

flink sql - 问题系列与解决系列

flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等],要写对表主键,特别是flink sql 有group by 的情况 1、布尔类型的坑 数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等],要写对表主键,特别是flink sql 有group by 的情况 现象:a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_

a123147abc的博客 7852

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

记 - 实时数仓开发实践 - doris/pg/flink

实时数仓开发 - doris/pg/flink

a123147abc的博客 1839

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

18.flink kafka使用thrift序列化

最近kafka中有一批被thrift序列化的java对象数据,我用flink去消费。本来百度找了找发现没有这样的demo,无奈只能去翻官网了,经过三四个小时才跑通,这里记录下详细代码,方便后来人。

笔生花的博客 779

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

flink 写入到es_Flink 实时写入数据到 ElasticSearch 性能调优

简介: 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一个与线上集群配置相同的 ES 集群。作者:张刘毅背景说明线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressu...

weixin_36146690的博客 346

2024年大数据最新使用flink的standalone模式同步Kafka的数据到clickhouse(1),2024年最新华为大神花费5个月打造的这份714页学习笔记系列

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长! ./bin/standalone-job.sh stop ./bin/taskmanager.sh stop./bin/jobmanager.sh stop ./b

2401_84591685的博客 784

解决flink消费kafka过期数据和目前存量数据的计算(未来的方向)

背景: 目前公司业务需要统计超过7天以上的特征统计,但是kafka只存7天的数据,如果只想通过flink sql去计算30天的用户特征要求当天生效,这是完不成的,但是看到下面的分享,感觉未来的方向有了。 一、2021 Apache Flink Meetup - Hosted by Netflix 的youtobe视频分享 目前这是Netflix的分享,目前还未将backfilling 的功能贡献回 iceberg 社区 https://www.youtube.com/watch?v=rtz3p_iijP8

weixin_44500374的博客 2280

记 - Flink SQL Upsert Kafka Sink 数据乱序排查与解决思路【业务数据任意修改】

Flink SQL Upsert Kafka Sink 数据乱序

a123147abc的博客 3453

使用flink的standalone模式同步Kafka的数据到clickhouse

) ENGINE = MergeTree () ORDER BY (appKey, appVersion, deviceId, phone_no); package com.kszx;import com.alibaba.fastjson.JSON; import com.kszx.Mail; import com.kszx.MyClickHouseUtil; import org.apache.flink.api.common.functions.MapFunction; import org.apach

2401_84184638的博客 1054

如何将 Apache Flink、Kafka 和 PostgreSQL Docker 化,实现实时数据流处理

鉴于默认的 Apache Flink Docker 镜像不包括 Python 支持,我为 pyFlink 创建了一个自定义 Docker 镜像。这个自定义镜像确保 Flink 可以运行 Python 作业,并包含与 Kafka 和 PostgreSQL 集成所需的依赖项。用于创建此镜像的 Dockerfile 位于 pyflink 子目录中。基础镜像:我们从官方 Flink 镜像开始。Python 安装:安装了 Python 和 pip,并将 pip 升级到最新版本。依赖管理。

龙哥盟 1163

FLink多表关联实时同步

Oracle->Debezium->Kafka->Flink->PostgreSQL Flink消费Kafka中客户、产品、订单(ID)三张表的数据合并为一张订单(NAME)表。

大雨点的专栏 3112
上一篇: Flink 实践教程-入门(6):读取 PG 数据写入 ClickHouse
下一篇: 微信 ClickHouse 实时数仓的实践经验
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值