基于http api作为flink自定义source源加工实时天气维表的实例

最新推荐文章于 2024-12-08 22:20:05 发布
置顶 最新推荐文章于 2024-12-08 22:20:05 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据仓库技术体系 文章标签： http flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/123695706
本文介绍了一个紧急需求下，如何利用Flink自定义source从HTTP API获取实时天气信息并将其加工存储到实时数仓作为公共维表的案例。

最近实时数仓接到了一个需求，需要实时分析城市天气对订单的影响，并实时调整营销策略。本来是期望特征平台能够有实时天气的topic或者hbase来给我们各个业务线作为公共维表使用的，但是并没有，所以在需求急迫的背景下，想到了通过flink自定义source来获取实时的天气，存入到实时数仓公共维表中。

一、flink主程序

public class HttpAsyncQueryWeather {
   
   
    public static void main(String[] args)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink实战案例（三）: 自定义source
微信搜：import_bigdata，大数据领域硬核原创作者
01-19 812
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 工程目录 SensorReading package com.atguigu.flink.bean case class SensorReading( id: String, timestamp: Long, timepreture: D
【Flink】自定义source
一杯咖啡半杯糖的博客
04-24 2125
我们实际开发的时候，常常需要做测试或者模拟数据来看逻辑对不对，通常flink会消费kafka数据，但是我们需要创建topic以及写程序去发送kafka数据，效率不高，掌握自定义souce生成数据对开发和测试的效率提升很重要。 1、添加maven依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w
Flink-Source-5种方式
Song_LiangYi的博客
07-11 776
适合初学者或者自学者
Flink之自定义Source
qq_41924766的博客
05-15 1185
Flink 自定义Source
flink的几种source来源
zhaoxiangchong的专栏
05-31 870
旧版的kafka版本(< v2.2) 用的参数依然是 zookeeper node1:2181。如果kafka的版本过低，比如 v0.8.2.1 时，flink会一致等待中，最后报错。bootstrap.servers 属于kafka版本>= v2.2时的参数。集合，文件以及自定义source 相对简单，重点演示kafka的对接。简单的总结了flink的几种source来源，可以参考下。建议kafka版本： v2.8.1。kafka作为生产者进行数据的输入。flink的数据产出。
Flink官网实例：基于DataStream API 实现欺诈检测，完整实现
02-07
3. **自定义数据源**：Flink 允许开发者自定义数据源（SourceFunction），以适应各种数据输入方式。在欺诈检测场景中，可能需要从 Kafka、Kinesis 或其他消息系统接收实时交易数据。 4. **IDEA 开发环境**：...
FLINK 基于1.15.2的Java开发-自定义Source端
打造全国最全的AI Agent开发知识领域的博客
10-28 1374
之前我们讲过自定义Flink的Sink端，这篇讲的是自定Flink Source端。自定义Flink Source端使用场景还不少。目前网上少有Flink>1.10版本的可运行代码，本篇也算是对Flink 1.15.2版本内API的一个知识补充。
Flink--API 之 Source 使用解析
天冬忘忧的博客
11-27 1606
在大数据处理领域，Apache Flink 作为一款强大的流式计算框架，既能应对流处理场景，也可处理批处理任务。而数据来源（Data Sources）作为整个计算流程的 “源头活水”，其多样性与合理运用至关重要。本文将深入剖析 Flink 中 Data Sources 的相关知识，并结合丰富代码示例，助力大家透彻理解与灵活运用。
Flink自定义数据源
最新发布
GDDGHS_的博客
12-08 750
SourceFunction:非并行数据源(并行度只能=1) --接口RichSourceFunction:多功能非并行数据源(并行度只能=1) --类ParallelSourceFunction:并行数据源(并行度能够>=1) --接口RichParallelSourceFunction:多功能并行数据源(并行度能够>=1) --类 【建议使用的】Rich 字样代表富有，在编程中，富有代表可以调用的方法很多，功能很全的意思。通过ParallelSourceFunction创建可并行Source。
Flink 访问 Http请求
lck_csdn的博客
07-15 3524
Flink读取Http请求
Flink流处理如何自定义Source
别人笑我太疯癫，我笑他人看不穿。
04-18 423
Flink支持自定义数据源，下面我给大家准备一个Flink自定义数据源实现每隔一秒发送一条数据 pom如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave
Flink 维表
张之海的博客
02-23 2040
Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化 阿里云-flink实时-数据维表
Flink自定义Source
shufangreal的博客
03-02 807
FlinkStream自定义Source 前言 Flink程序在客户端进行编译优化的时候Operator Chain减少了不同算子之间数据传输序列化与反序列话的开销，提升了性能。 1.获取执行环境 val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment #底层实际上是调用以下...
Flink流处理api之source
weixin_45781143的博客
07-12 276
欢迎关注我的个人博客学习更多知识 flink流处理基础框架 类比于storm 和 spark flink也是有执行环境 下面写出最小框架 public class SourceTest { public static void main(String[] args) throws Exception{ // 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 导入数据
探索高效数据流：flink-http-connector 开源项目推荐
gitblog_00762的博客
08-18 601
探索高效数据流：flink-http-connector 开源项目推荐 在数据处理的世界中，Apache Flink 以其强大的流处理能力而闻名。今天，我们将介绍一个特别的开源项目——flink-http-connector，它为 Flink 用户提供了一种通过 HTTP 协议与外部系统进行数据交互的便捷方式。 项目介绍 flink-http-connector 是一个 HTTP TableLoo...
Flink HTTP Connector 使用教程
gitblog_00213的博客
08-16 846
Flink HTTP Connector 使用教程 项目的目录结构及介绍 Flink HTTP Connector 项目的目录结构如下： flink-http-connector/ ├── src/ │ └── main/ │ └── java/ │ └── com/ │ └── getindata/ │ ...
【亲测免费】 Flink HTTP Connector 使用教程
gitblog_00762的博客
08-16 1596
Flink HTTP Connector 使用教程 项目介绍 Flink HTTP Connector 是一个用于 Apache Flink 的开源项目，提供了 HTTP 的源（Source）和汇（Sink）连接器。这个连接器支持 Datastream、Table 和 SQL API，使得用户可以方便地在 Flink 中通过 HTTP 协议与外部系统进行数据交互。 项目快速启动 安装依赖 在使用 ...
56、Flink 的Data Source 原理介绍
热门推荐
alanchanchn的专栏
01-09 6万+
一些比较基本的 Source 和 Sink 已经内置在 Flink 里。预定义 data sources 支持从文件、目录、socket，以及 collections 和 iterators 中读取数据。预定义 data sinks 支持把数据写入文件、标准输出（stdout）、标准错误输出（stderr）和 socket。
Flink自定义source
weixin_42412645的博客
06-18 1287
有些维度表是存在于Redis或者MySQL中需要读取这些数据，但是现在官网只有Sink。于是可以通过自定义一个Source来实现。自定义的Source需要实现（SourceFunction、ParallelSourceFunction）或者扩展（RichSourceFunction，RichParallelSourceFunction）其中的任意一个。 下面的代码实现一个读出本地文件的一个Sour...
flink自定义addsource为mysql
10-17
Flink (Apache Flink) 是一个开源的流处理框架，它允许你在实时数据和批处理之间无缝切换。如果你想要在 Flink 中自定义添加一个从 MySQL 数据库读取数据的 Source（源），你需要编写一个 SQL 或者使用 Flink 的 JDBC 接口。 步骤如下： 1. **添加依赖**：首先，确保你的项目依赖包含了 Flink 对 MySQL 连接的支持，你可以通过 Maven 或 Gradle 加入对应的 JDBC 驱动依赖。 2. **创建 JdbcSource**：Flink 提供了 `org.apache.flink.streaming.connectors.jdbc.JdbcInputFormat` 类，你可以实例化这个类并配置连接信息，如数据库 URL、用户名、密码以及 SQL 查询语句（作为表名）。 ```java JdbcSource jdbcSource = new JdbcSource( "jdbc:mysql://localhost:3306/mydatabase", // 数据库URL "username", // 用户名 "password", // 密码 "SELECT * FROM mytable", // SQL查询 Types.STRING, // 返回字段的数据类型 new TableSchema() // 表结构，如果可用 ); ``` 3. **将源添加到DataStream**：然后，你可以将这个自定义的 JdbcSource 添加到 Flink 的 DataStream API 中，例如，作为 StreamExecutionEnvironment 的 source。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> stream = env.addSource(jdbcSource); // 然后对stream进行进一步处理... ``` 4. **运行作业**：最后，提交你的 Flink 作业到集群或者本地运行环境。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值