Flink 实践教程:入门(1):零基础用户实现简单 Flink 任务

说说Flink的连接器connector有哪些,怎么用? 标题: ‘说说Flink的连接器connector有哪些,怎么用?’ 日期: 2021-07-31 10:26:51 标签: [flink,connector] 分类: 数据仓库 flink作为一个计算引擎,是缺少存储介质的,那么数据从哪儿来,到哪儿去,就需要连接器了,链接各种类型数据库,各种类型组件进行数据的抽取、计算、存储等,下面来看看flink都有哪些connector,怎么使用的? 介绍 看看目前支持的connector: 这是官方给出的: 有些支持数据源,有些不支持数据源,有些支持无边界流. 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

流计算 Oceanus 提供了便捷的控制台环境,方便用户编写 SQL 分析语句、ETL 作业或者上传运行自定义 JAR 包,支持作业运维管理。

本文将为您详细介绍如何使用 datagen 和 blackhole 连接器随机产生和存储数据。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 流计算 Oceanus 控制台,点击左侧【集群管理】,点击左上方【创建集群】,具体可参考流计算 Oceanus 官方文档 创建独享集群。

流计算 Oceanus 作业

1. 创建 Source
-- Datagen Connector 可以随机生成数据。Datagen Connector 适合用做测试数据源。
-- 参见 https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/dev/table/connectors/datagen.html

CREATE TABLE random_source ( 
  user_id INT,
  item_id INT,
  category_id INT,
  behavior VARCHAR
  ) WITH ( 
  'connector' = 'datagen',
  'rows-per-second' = '1',              -- 每秒产生的数据条数
  'fields.user_id.kind' = 'sequence',   -- 有界序列(结束后自动停止输出)
  'fields.user_id.start' = '1',         -- 序列的起始值
  'fields.user_id.end' = '10000',       -- 序列的终止值
  'fields.item_id.kind' = 'random',     -- 无界的随机数
  'fields.item_id.min' = '1',           -- 随机数的最小值
  'fields.item_id.max' = '1000',        -- 随机数的最大值
  'fields.category_id.kind' = 'random', -- 无界的随机数
  'fields.category_id.min' = '1',       -- 随机数的最小值
  'fields.category_id.max' = '1000',    -- 随机数的最大值
  'fields.behavior.length' = '5'        -- 随机字符串的长度
);
2. 创建 Sink
-- 输入到 Blackhole Sink 的数据, 会被全部丢弃。Blackhole Sink 适合做性能测试。
-- 参见 https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/connectors/table/blackhole/

CREATE TABLE blackhole_sink (
  user_id INT,
  item_id INT,
  category_id INT,
  behavior VARCHAR
) WITH ('connector' = 'blackhole');
3. 编写业务 SQL
INSERT INTO blackhole_sink
(
    SELECT user_id,
    item_id,
    category_id,
    behavior
    FROM random_source
);
4. 发布运行

点击工具栏【语法检查】进行 SQL 语法检查,检查无误后点击【保存】>【发布草稿】运行作业。

总结

Datagen Connector 连接器是一款用于生成随机数据的 Connector,一般作为测试使用。
Sink 到 Blackhole 的数据会被丢弃,用户无法查询到其中的数据,此连接器一般用于于性能测试。

​

在这里插入图片描述

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

​

Flink优化的方方面面 上游生产数据速度比下游消费数据速度大,flink会发生反压,反压会从下游向上游传播,直到sourcetask降低拉去数据速度,避免flink任务执行报错。 阅读详情

相关推荐

docker 搭建 flink 并上传任务

1.16.0-scala_2.12-java8 镜像版本说明,flink 1.16.0,flink 内置 scala 版本 2.12,Java 版本 8。如下两个容器启动成功,可以看到 web 端口为 18081,taskmanager 启动一个,包含 5 个任务槽。如下:注意运行需要设置启动参数,否则启动会找不到类,因为 pom.xml 文件 flink 相关包都添加了。打包项目:可以在 pom.xml 修改启动类,也可以在命令启动或者 ui 界面上传设置启动类参数。下面代码用来统计单词出现的的次数。

不懂一休 1万+

Flink SQL 压测最短闭环Print 验证正确性 + BlackHole 榨干性能上限(附 Join/Agg/TopN/UDF 模板)

本文介绍了如何通过Print和BlackHole两种方式高效测试Flink SQL的性能和正确性。Print适合小流量验证SQL逻辑的正确性,而BlackHole则用于大流量测试SQL的计算吞吐上限。文章提供了详细的测试步骤,包括创建测试表、数据生成、SQL模板以及关键指标监控方法,帮助开发者快速定位性能瓶颈。最后给出了完整的测试清单,确保测试过程全面可靠。这种方法能显著提高SQL调优效率,减少生产环境中的问题。

hello.reader 596

尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】

尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】

upward 5834

Flink SQL 从一个SOURCE 写入多个Sink端实例

FLINK 任务从一个数据源读取数据, 写入多个sink端.

张伯毅的专栏 1324

【Flink入门修炼】1-3 Flink WordCount 入门实现

本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论,对其基本输入输出、编程代码有初步了解,后续篇章再对 Flink 的各种概念和架构进行介绍。 下面将从创建项目开始,介绍如何创建出一个 Flink 项目;然后从 DataStream 流处理和 FlinkSQL 执行两种方式来带大家学习 WordCount 程序的开发。

笨鸟先飞的博客 2155

Flink入门这一篇就够了

Flink入门这一篇就够了 Flink好处在这不再赘述,有想要了解的同学可自行搜索 Linux中安装好JDK1.8 Flink下载(没有windows版本) https://flink.apache.org/downloads.html 通过sftp将下载好的文件传入到linux系统上(连接上虚拟机后 alt + p) 在/root下可以将文件移动到指定目录中 [root@hadoop301 ~...

JobClub的博客 8021

Flink BlackHole SQL Connector /dev/null 式“吞数据”Sink,压测与验证的神器

Flink黑表(BlackHole)是一种特殊的连接器,用于性能测试和瓶颈分析。它完全丢弃数据而不输出,适合压测场景。主要用途包括:1) 替换真实sink快速判断性能瓶颈是否来自外部系统;2) 与DataGen组合进行SQL极限吞吐测试;3) 与Print表配合使用(Print验证数据正确性,BlackHole测试性能)。在生产排障中,通过切换为黑表可以快速定位瓶颈来源(计算逻辑还是外部系统)。注意黑表不能验证数据正确性,仅用于性能评估。

hello.reader 176

基于Flink CDC实现Mysql实时同步到Doris系列教程五:Flink CDC提交任务并验证

本文也是该系列教程的最后一篇,期望本系列教程可以实实在在的帮助到你。本文将介绍如何把YAML任务文件使用提交到Flink环境中,最后我们再验证doris数据库中的数据,查看是否实时可查询。本系列教程到这里就结束了,用非常有限的图文带领大家体验了Flink CDC的能力。但是对于我们个人的学习而言则才刚刚开始。但是也希望大家可以理解,大家的环境不同、操作不同,我也没有办法一一帮助大家解决所有的问题,期望大家遇到问题不要着急,慢慢来,解决问题的过程也是深度学习的过程。最后再次强调——多动手。

遇码开源社区 1485

Flink 最锋利的武器:Flink SQL 入门和实战

一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015...

微信搜:import_bigdata,大数据领域硬核原创作者 8万+

使用Restful方式提交Flink任务详解

Flink提供了丰富的客户端操作来提交任务,本文在Restful方式上提供扩展,其余四种方式可观看flink-china系列教程-客户端操作的具体分享 Flink从1.7版本开始支持RESTClient提交任务,RESTClient可能很多人不熟悉。使用RESTClient提交任务,换句话说就是Flink可支持API调用方式,提交你编写好的Flink代码,提交到Flink集群运行。本文演示读取ka...

weixin_33940102的博客 5055

Flink 简单入门示例

Flink 简单入门示例 1.Flink读取Socket流,实现Word Count示例 import org.apache.flink.streaming.api.scala.{StreamExecutionEnvironment, _} import org.apache.flink.streaming.api.windowing.time.Time object SocketWindowW...

Widsom的博客 4725

Flink 从入门到实践:安装部署与任务开发全指南(基于 Flink 1.17 Standalone 集群)

第 1 代:Hadoop MapReduce仅支持 Map+Reduce 两阶段计算,复杂任务需拆分多 Job 串联,效率低。第 2 代:DAG 框架(Tez/Oozie)支持 DAG 任务调度,但仍以批处理为主,实时性不足。第 3 代:Spark引入内存计算,支持 Job 内 DAG,但流处理基于 “微批模拟流”(Spark Streaming),无法做到低延迟。第 4 代:Flink原生支持流处理,将 “批数据” 视为 “有界流”,实现流批一体;同时支持 DAG 优化、增量迭代,性能远超前几代。

qq_69240397的博客 1187

flink重温笔记(一):Flink 基础入门

最近发现 Flink 技术在实时数仓开发上占比越来越明显,希望通过抓紧复习,加强对 Flink 的理解和应用,提升自己实时数仓的开发能力,以下是今日整理的学习笔记,各种图像均按照自己理解重画,有疏漏的地方还请各位大佬指出,希望能和大家一起共同学习,互相进步。Tips:这是我的第一篇 优快云 博客,后续会持续分享每日学习总结和心得,2024年大家一起加油!

m0_60732994的博客 2547

Flink任务实战优化

一个好产品,功能应该尽量包装在服务内部;对于Flink而言,无疑是做到了这一点。但是用户在使用Flink的时候,依然可以从版本的选择、代码逻辑、资源参数、业务的数据情况等方面做任务级的定制化优化;用最合理的资源使用,保障实时性、稳定性和最佳Tps的处理能力

weixin_42049123的博客 4498

abaqus 根据坐标施加载荷- Analytical Field 载荷映射

在一些类型的分析中,需要将按位置分布的载荷施加到结构上,比如流体分析导出了结构的气动载荷、或者温度载荷,需要将压强分布、温度分布载荷施加到固体上。这种分析可以使用abaqus中的Analytical Field实现。 1 例子 1.1 结构 一个100*100mm的面,面的载荷分布函数为p=(x2+y2)0.5/((20.5)*100) MPa,即(0, 0)的压强为0,(100, 100)的压强为1。 1.2 载荷 载荷函数:p=(x^2+y^2)^0.5/((2^0.5)*100) in exce.

shengyutou的博客 2万+

现代SerDes解剖:从CTLE/DFE到PAM4与ADC+DSP架构

高速有线通信的物理层瓶颈,正从并行总线的时钟偏斜转向串行链路的信号完整性挑战。SerDes作为解决这一问题的核心技术,其内部架构远超“并转串”的朴素认知。接收端的CTLE线性均衡与DFE判决反馈均衡,配合CDR时钟恢复,共同构成对抗信道损耗与码间干扰的关键机制。随着速率迈向56G/112G,PAM4调制以电平幅度换取带宽,而ADC+DSP架构则把均衡算法搬入数字域,实现更灵活的非线性补偿。理解这些模块如何协同工作,是调试PCIe、以太网等高速链路、优化眼图余量与抖动预算的基础,也是硬件工程师从盲目调参走向系

weixin_29194817的博客 301

【Flink-1.17-教程】-【三】Flink 运行架构、Flink 核心概念【并行度、算子链、任务槽】、Flink 作业提交流程

1、提交 job,执行运行程序的脚本(flink run)后,会生启动一个客户端进程。 2、客户端进程中会解析一些参数,如:-c(全类名) 3、生成逻辑流图(StreamGraph),通过 Operator Chain 对算子优化后,生成作业流图(JobGraph) 4、对解析完成的参数进行封装,然后通过内部的 Actor 通信系统(基于 RPC)提交、或取消(flink cancel)、或更新,将任务发送给 JobManager。 5、JobManager 自身也会有一个 Actor 通信系统

weixin_53543905的博客 2028

从零到一:3D Slicer与MONAI在医学影像中的AI革命

本文探讨了3D Slicer与MONAI在医学影像分析中的革命性应用,展示了如何通过开源工具实现高效的三维影像处理和AI增强分析。结合临床案例,详细介绍了从数据准备到AI分析的全流程,显著提升诊断效率和精度,推动医学影像技术迈向新纪元。

tcp8optimizer的博客 342

flink入门教程

《Flink官方文档》Quick Start 原文链接  译者:清英 安装: 下载并开始使用Flink Flink 可以运行在 Linux, Mac OS X和Windows上。为了运行Flink, 唯一的要求是必须在Java 7.x (或者更高版本)上安装。Windows 用户, 请查看 Flink在Windows上的安装指南。 你可以使用以下命令检查Java当前

dataastron的博客 1万+

Java 网络编程(超级详细)

1. 网络编程 1.1 网络编程概述 计算机网络 是指将地理位置相同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统、网络管理软件及通信协议的管理和协调下,实现资源共享和信息传递的计算机系统 1.2 网络编程三要素 1、IP地址 要想让网络中的计算机能够互相通信,必须为计算机指定一个标识号,通过这个标识号来指定要接受数据的计算机和识别发送的计算机,而IP地址就是这个标识号,也就是设备的标识。 2、端口 网络的通信,本质上是两个应用程序的通信。每台计算机都有很多的应用程

imByte的博客 3万+

SpringBoot Redis入门(一)——redis、Lettuce、Redisson使用

Lettuce是SpringBoot自带的Redis客户端,性能比Redis要好, 是线程安全的,支持同步编程,异步编程,响应式编程,自动重新连接,主从模式,集群模块,哨兵模式Redisson 是一个在 Redis 的功能基础上实现的 Java 驻内存数据网格客户端。实现了分布式和可扩展的 Java 数据结构,提供很多分布式相关操作服务,例如分布式锁,分布式集合,可通过 Redis 支持延迟队列。

朗朗的博客 3838

[Flink 实践篇-1] Flink 1.12.1 实现 WordCount 入门案例

什么是 WordCount ? wordcount 简单来讲就是单词计数,是一般大数据计算框架(Hadoop、Spark、Flink)的入门学习案例,相当于编程语言(Java、Python)中的 HelloWorld 案例,适合刚开始了解 Flink 作业提交流程的同学。 环境要求 JDK 1.8 (必须) ~ $ java -version java version "1.8.0_291" Java(TM) SE Runtime Environment (build 1.8.0_291-b10) J

程序员大魔王 3568

ADS入门学习笔记——射频振荡器的设计

振荡器是射频系统中的基本部件之一,可以将直流功率转换为射频功率,在特定的频率点建立起稳定的正弦振荡,成为所需的射频信号源。

weixin_42126696的博客 8952

用户Flink任务监控功能-设计

用户隔离: Prometheus与ECharts的组合使得用户隔离更加容易。可以实施自定义逻辑,确保每个用户只能访问和查询与他们自己相关的数据。这可以更好地满足多租户环境中的需求,确保用户只能看到自己的数据。自定义视图: 使用ECharts,可以轻松自定义图表的外观和交互。这意味着可以根据用户需求创建特定的监控仪表板和可视化效果,而无需受限于Grafana的默认视图。这种灵活性使能够更好地满足不同用户的需求。

qq_18379607的博客 1189

基于STM32L4XX 、HAL库的DRV8825PWPR步进电机驱动器驱动程序应用设计

一、简介:DRV8825是德州仪器(TI)推出的一款高性能步进电机驱动器模块。它集成了微步进分度器、MOSFET H桥以及过流、欠压锁定和过热保护电路。主要特性:驱动能力: 最高电压45V,每相最大电流2.5A(需配合足够散热)。微步进: 支持全步、1/2、1/4、1/8、1/16、1/32微步模式,通过M0, M1, M2三个引脚控制。控制接口: 非常简单,只需要两个核心信号:(脉冲输入):每个上升沿脉冲驱动电机移动一个微步。(方向控制):高电平/低电平决定电机旋转方向。使能端: (睡眠模式,低电平有效)

PP_Cottage的博客 333

突破Cloudflare 5秒盾:Python爬虫+GPT分析JS混淆,零基础也能爬

传统突破Cloudflare 5秒盾的门槛极高,需要精通JS逆向、浏览器指纹伪造、行为模拟,而本文的“Playwright+GPT”方案,彻底降低了门槛——无需懂逆向、无需手动改指纹、无需写复杂JS代码,只需3步就能突破大部分网站的防护。低门槛:新手1小时内就能上手,无需逆向工程知识;高成功率:覆盖80%+的普通防护网站,15%的中等防护网站;易扩展:适配不同类型网站,可结合代理、打码平台升级为高可用系统。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 1165
上一篇: 指标统计:基于流计算 Oceanus(Flink) 实现实时 UVPV 统计
下一篇: Flink 实践教程:入门(2):写入 Elasticsearch
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值