今天我们主要来讲一个很简单但是很常见的需求,实时计算出网站当天的pv值,然后将结果实时更新到mysql数据库,以供前端查询显示。
接下来我们看看如何用flink sql来实现这个简单的功能。
首先我们还是使用datagen生成测试数据,随机生成一些用户id
String sourceSql = "CREATE TABLE datagen (\n" +
" userid int,\n" +
" proctime as PROCTIME()\n" +
") WITH (\n" +
" 'connector' = 'datagen',\n" +
" 'rows-per-second'='100',\n" +
" 'fields.userid.kind'='random',\n" +
" 'fields.userid.min'='1',\n" +
" 'fields.userid.max'='100'\n" +
")";
定义mysql的sink,这里mysql是作为了一个upsert的sink,所以必须要一个主键,在mysql建表的时候我们指定了当天的日期作为主键,mysql ddl如下
CREATE TABLE `pv` (
`day_str` varchar(100) NOT NULL,
`pv` bigint(10) DEFAULT NULL,
PRIMARY KEY (`day_str`)
)
Flink中的ddl要和mysql中对的上,也要指定主键。
String mysqlsql = "CREATE TABLE pv (\n" +
" day_s

本文介绍如何使用 Flink SQL 实现实时计算网站 PV,并将结果实时更新到 MySQL 数据库中,包括数据源生成、MySQL Sink 定义及查询实现。
最低0.47元/天 解锁文章
1068

被折叠的 条评论
为什么被折叠?



