
Flink
隔壁程序员老王
层楼终将误少年,自由早晚乱余生。
展开
-
FlinkSQL的常用语言
FlinkSQL 是 Apache Flink 提供的 SQL 接口,允许用户使用标准 SQL 或扩展的 SQL 语法来处理流式和批式数据。FlinkSQL 不断演进,这里只是举例一些常用的语句,参考官方文档可以获取最新语法和功能。原创 2025-04-10 17:27:43 · 326 阅读 · 0 评论 -
From line 6, column 36 to line 6, column 71: Cannot apply ‘-‘ to arguments of type ‘<VARCHAR(214748
报错信息: From line 6, column 36 to line 6, column 71: Cannot apply '-' to arguments of type '<VARCHAR(2147483647)> - <INTERVAL SECOND>'. Supported form(s): '<NUMERIC> - <NUMERIC>''<DATETIME_INTERVAL> - <DATETIME_INTERVAL>原创 2021-12-01 11:26:07 · 2748 阅读 · 0 评论 -
toAppendStream doesn‘t support consuming update and delete changes which is produced by node
问题显示如下:AppendStreamTableSink doesn't support consuming update changes which is produced by node GroupAggregate(groupBy=[province], select=[province, SUM(reg_num) AS reg_num])执行的sql语句为Table table =tableEnv.sqlQuery("select province,sum(reg_num) reg_num原创 2021-11-24 13:57:35 · 3976 阅读 · 1 评论 -
Table options do not contain an option key ‘connector‘ for discovering a connector.
例如我们想和kafka连接时WITH需要添加'connector’这项,如果是连接hive的除了需要添加该项之外还需要添加连接hiv所需的JDBC的依赖。当缺少这两项时可能会报这种错误。 String sql="CREATE TABLE Orders (`business_time` STRING, `prod_name` STRING, `product_type` STRING,`vol` Double,`batch_time` TIMESTAMP)原创 2021-11-22 09:58:59 · 2013 阅读 · 0 评论 -
Flink-Sql执行所需依赖2.0v
哈哈哈,你永远不知道回踩多少坑啊!!!改天吧报错信息总结一下这边这篇依赖相对挺全了,好歹能直接看出效果了<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav原创 2021-11-19 19:05:24 · 1493 阅读 · 1 评论 -
org/apache/flink/streaming/api/environment/StreamExecutionEnvironment
将其去掉原创 2021-11-19 17:02:27 · 1898 阅读 · 0 评论 -
java.sql.SQLException: 无效的列索引
java.sql.SQLException: 无效的列索引“无效的列索引”其实是个低级的错误,原因无非几个: 1、sql串的?号数目和提供的变量数目不一致:例如:jdbcTemplate.update(sql, new Object[] {newState,oldState});如果sql里面有1个?号,Object[]送了2个,就会报错。 2、sql串里的?号书写不正确英文?和中文?有时难以区分。 3、sql串的?号用''括了起来。例如:sql="UPDATE原创 2021-11-18 10:44:26 · 14041 阅读 · 0 评论 -
基于Flink开发实时TopN
场景描述:TopN 是统计报表和大屏非常常见的功能,主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标(如出现次数)计算排名并快速出发出更新后的排行榜。我们以统计词频为例展示一下如何快速开发一个计算TopN的flink程序。关键词:Flink TopNTopN 是统计报表和大屏非常常见的功能,主要用来实时计算排行榜。流式的TopN可以使业务方在内存中按照某个统计指标(如出现次数)计算排名并快速出发出更新后的排行榜。flink支持各种各样的流数据接口作为数据的数据源,本次demo原创 2021-11-16 15:29:43 · 809 阅读 · 0 评论 -
Could not instantiate the executor. Make sure a planner module is on the classpath
报错内容如下:SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]Exception in thread "main" org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpath at org.apache.flink.table原创 2021-11-09 14:44:44 · 3349 阅读 · 0 评论 -
Caused by: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier
报错内容如下:SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementationSLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.Exception in thread "main" org.apache.原创 2021-11-09 14:38:20 · 3266 阅读 · 0 评论 -
Flink-Sql执行所需依赖1.0v
初步测试可行,后序开发过程是否有坑还在继续实践当中<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copyright ownership. The ASF licenses原创 2021-11-09 10:55:19 · 1646 阅读 · 0 评论 -
Flink中的状态存储
Flink提供不同的State Backends状态后端,指定如何和在何处存储状态。(1)MemoryStateBackend状将键控状态作为内存中的对象进行管理,将它们存储在TaskManager的JVM堆上,将checkpoint存储在JobManager的内存中(2)FsStateBackend本地状态存在TaskManager的JVM堆上,checkpoint存到远程的持久化文件系统(FileSystem)上(3)RocksDBStateBackend将所有状态序列化后,存入本地的Roc原创 2021-09-03 10:38:45 · 1990 阅读 · 0 评论 -
Flink脑图总览
原创 2020-11-24 00:34:14 · 423 阅读 · 0 评论