【已解决】Flink Table 转 DataStream报错

flink测试tableAPI出现异常解决,持续更新 groupBy 分组后,做select查询操作,使用 tableEnv.toAppendStream(avgTable, Row.class).print();做输出测试 报错如下: Exception in thread "main" org.apache.flink.table.api.TableException: toAppendStream doesn't support consuming update changes which is produced by node GroupAggreg 阅读详情

Flink table和DataStream互转的时候,如果指定了自定义的pojo类,需要这个类是public的,否则就会报如下错误。

 

Exception in thread "main" org.apache.flink.table.api.TableException: A raw type backed by type information has no serializable string representation. It needs to be resolved into a proper raw type.
	at org.apache.flink.table.types.logical.TypeInformationRawType.asSerializableString(TypeInformationRawType.java:101)
	at org.apache.flink.table.planner.sinks.TableSinkUtils$$anonfun$3.apply(TableSinkUtils.scala:95)
	at org.apache.flink.table.planner.sinks.TableSinkUtils$$anonfun$3.apply(TableSinkUtils.scala:95)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.Iterator$class.foreach(Iterator.scala:891)
	at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
	at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
	at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
	at scala.collection.AbstractTraversable.map(Traversable.scala:104)
	at org.apache.flink.table.planner.sinks.TableSinkUtils$.validateSchemaAndApplyImplicitCast(TableSinkUtils.scala:95)
	at org.apache.flink.table.planner.delegation.PlannerBase.translateToRel(PlannerBase.scala:260)
	at org.apache.flink.table.planner.delegation.PlannerBase$$anonfun$1.apply(PlannerBase.scala:163)
	at org.apache.flink.table.planner.delegation.PlannerBase$$anonfun$1.apply(PlannerBase.scala:163)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.Iterator$class.foreach(Iterator.scala:891)
	at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
	at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
	at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
	at scala.collection.AbstractTraversable.map(Traversable.scala:104)
	at org.apache.flink.table.planner.delegation.PlannerBase.translate(PlannerBase.scala:163)
	at org.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.toDataStream(StreamTableEnvironmentImpl.java:331)
	at org.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.toAppendStream(StreamTableEnvironmentImpl.java:292)
	at org.apache.flink.table.api.bridge.java.internal.StreamTableEnvironmentImpl.toAppendStream(StreamTableEnvironmentImpl.java:283)
	at it.kenn.demo.JoinDemo.main(JoinDemo.java:63)

Process finished with exit code 1

 

 

 

Flink 官网table api例子异常排查 下载的flink 1.13.1版本,scala 2.11版本 按照官网,https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/try-flink/table_api/ 下载https://github.com/apache/flink-playgrounds这个代码 第一个异常: Error: A JNI error has occurred, please check your installation and . 阅读详情

相关推荐

Flink相关异常解决

Flink学习笔记(End):1.Flink Table API 中,错误信息如下: 错误信息: Exception in thread “main” org.apache.flink.table.api.TableException: Arity [2] of result [[Lorg.apache.flink.api.common.typeinfo.TypeInformation;@52354202] does not...

扛麻袋的少年的博客 3884

Flink学习:Flink常见报错

flink error

nzbing的博客 2756

flink问题记录

在flink上跑一个算法的离线指标,报错如下。 Map (Map at com.wwdz.recsys.home.ItemFilterDay$.main(ItemFilterDay.scala:186)) -> Combine (GroupReduce at org.apache.flink.api.scala.GroupedDataSet.first(GroupedDataSet.scala:480)) (5/8) (96228117fa07e01079d3cba5f0dc742b) switche

三石 1万+

Flink中常见的几种异常

问题一: Exception in thread “main” org.apache.flink.table.api.TableException: Could not instantiate the executor. Make sure a planner module is on the classpath at org.apache.flink.table.api.java.internal.StreamTableEnvironmentImpl.lookupExecutor(StreamTableE

weixin_44519124的博客 3406

Flink DataStream转Table 使用SQL:select /where/ group by/toAppendStream/toRetractStream

方法1registerDataStream package SQL; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.functions.source.SourceFunctio...

Top5软件工程硕士,先后在京东、字节从事多年Java后端开发、实时和离线大数据开发 1940

【Flink】FLINK-CDC之DataStream方式的应用(mysql篇)

1、mysql中创建表,注意,mysql要开启binlog,否则报错 CREATE TABLE `cdc_user` ( `id` BIGINT(11) NOT NULL, `name` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8mb4_bin', `type` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8mb4_bin', `desc` TEXT NULL DEFAULT NULL C...

一杯咖啡半杯糖的博客 2488

Flink Table转DataStream报错根因与四步解决法

在实时流处理中,Flink的Table API与DataStream API混合编程是常见架构模式,其核心在于动态表(Dynamic Table)对变更日志(changelog)的语义建模——包括INSERT、UPDATE、DELETE等事件流。这种语义与DataStream默认的仅插入(insert-only)模型存在天然冲突,导致调用toDataStream时频繁抛出ClassCastException或UnsupportedOperationException。技术价值体现在精准控制状态一致性、降低端

weixin_28223453的博客 169

国产SR8201F以太网PHY芯片调试避坑指南:从机贴失败到杜邦线救场的实战记录

本文详细介绍了国产SR8201F以太网PHY芯片的调试避坑指南,涵盖硬件设计、PCB布局、SMT贴片及软件驱动等关键环节。通过实战案例解析,帮助工程师解决MII/RMII接口配置、电源设计、信号完整性等典型问题,提升以太网通信稳定性与EMC性能。

c6d7e8f9g的博客 1216

DataStream<Row>如何注册为flink table (An input of GenericTypeInfo<Row> cannot be converted to Table)

Flink: DataStream[Row]如何注册到flink table(Table environment register row data stream)1. 问题2. 解决办法2.1. 创建数据流时指定TypeInfomation2.2. 数据流转换时指定TypeInfomation3. 关于TypeInfomation 1. 问题 当使用Flink中的registerDataStre...

search-lemon的博客 6920

【实战技巧】matplotlib中文标签显示问题的3种高效解决方案

本文详细介绍了解决matplotlib中文标签显示问题的3种高效方法,包括修改字体设置、临时指定字体和修改后端配置。针对不同操作系统和环境提供了实用技巧,帮助开发者快速解决中文显示为方框的常见问题,提升数据可视化效果。

weixin_30855099的博客 170

Latext安装(二)WinEdt安装+激活教程

常用的LaTeX安装方案是TeXLive + WinEdt。TeXLive 是LaTeX的运行环境,而 WinEdt 则是编写LaTeX文档的编辑器。安装好TexLive之后,再安装WinEdt。这里介绍的是WinEdt的安装和激活教程。

j_l_sheng的博客 4万+

flink table转换DataStream报错 (toAppendStream和toRetractStream区别)

代码实现功能: 统计单词个数 代码如下: public static void main(String[] args) throws Exception { String path = "D:\\cjj\\cjj.txt"; StreamExecutionEnvironment fbEnv = StreamExecutionEnvironment.getExecutionEnvironment(); StreamTableEnvironment fbTa.

cjj386906718的博客 3056

WGS-84 ECEF ENU 坐标系学习记录

地球坐标系固定在地球上而随地球一起在空间做公转和自转运动,因此地球上任一固定点在地球坐标系的坐标就不会由于地球旋转而变化。地心地固直角坐标系和大地坐标系都属于这种坐标系。 一、 几种坐标系 地心地固直角坐标系(ECEF)坐标系 其原点为地球的质心,x轴延伸通过本初子午线(0度经度)和赤道(0deglatitude)的交点。 z轴延伸通过的北极(即,与地球旋转轴重合)。 y轴完成右手坐标系,穿...

YYshuangshuang的博客 1万+

Flink Table转DataStream类型转换失败原因与解决方案

在实时计算中,Flink的Table API与DataStream API之间的类型转换并非简单数据搬运,而是涉及逻辑Schema到物理TypeInformation的契约映射过程。其核心原理在于Planner(尤其是Blink Planner)对DataType、RowKind、字段名一致性及序列化器兼容性的严格校验。技术价值体现在保障流式作业的类型安全、避免运行时ClassCastException、支撑Changelog语义正确性。典型应用场景包括SQL结果调试、复用DataStream状态算子、CD

weixin_33402252的博客 198

OpenClaw赚钱实录:从“养龙虾“到可持续变现的实践指南

OpenClaw已经开源3个月有余,作为深耕AI Agent领域的博主,我亲身探索了各种基于OpenClaw的赚钱方法,也踩过坑、付出了时间与精力。现在,我将这些真金白银砸出来的实战经验,毫无保留地总结成这个专栏,分享给不想从零开始摸索的你。博主在优快云已有7万+粉丝和1100万+阅读量,但这却是我的第一个付费专栏。正因如此,我比任何人都更珍惜这个“第一次”。我会像一个手艺人打磨作品一样,死磕每一篇文章的质量,并持续根据订阅者的反馈优化内容。也许你的疑问就是当篇文章的优化点。

冯·诺依曼 2442

【Inpho精品教程】Inpho简介、安装教程(附Inpho8安装包下载)

本文介绍Trimble旗下Inpho UASMaster航空摄影测量软件,涵盖其核心功能模块(如Match-AT、OrthoMaster、Summit Evolution等)及安装教程。文章详细说明了从安装到汉化破解的全过程,并提供Inpho 8.0.1安装包下载链接与提取码,适用于无人机摄影测量专业用户。

智慧空间实验室 1万+

Flink Scala API 扩展(Scala API Extensions)完全指南:用偏函数与模式匹配优雅书写 DataStream

本指南围绕 Flink 官方文档 [Scala API Extensions](https://link.gitcode.com/i/5c562b3da925d21e4d2dd00eead5636b) 展开,深入讲解 Flink 为 Scala 用户提供的 API 扩展机制——通过隐式转换(implicit conversions)让 DataStream / DataSet API 原生支持匿名

gitblog_01094的博客 853

【高级强化学习:算法、优化与泛化】第13章 扩散模型策略优化(Diffusion Policy Optimization)

\quad$ 计算均值 $\mu_t = \frac{1}{\sqrt{\alpha_t}} \left( x_t - \frac{1 - \alpha_t}{\sqrt{1 - \bar{\alpha}_t}} \tilde{\epsilon} \right)$.$\quad$ 组合得分估计: $\tilde{\epsilon} = \epsilon_{\text{unc}} + w \cdot (\epsilon_{\text{con}} - \epsilon_{\text{unc}})$.

u012133341的博客 338

flinkSQL Table转DataStream

业务中sql可能不完全满足使用,需要转换成DataStream 更灵活一些,所以需要互相转换,发挥各自的优势。

fengjian的博客 1413

机器人中的数值优化(十三)——QP二次规划

本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考,主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等,本系列文章篇数较多,不定期更新,上半部分介绍无约束优化,下半部分介绍带约束的优化,中间会穿插一些路径规划方面的应用实例

慕羽★的博客 2793

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Flink Table API 输出到MySql报错:Required context properties mismatch.

代码: package com.atguigu.tabletest import com.atguigu.apitest.SensorReading import org.apache.flink.streaming.api.scala._ import org.apache.flink.table.api.scala._ import org.apache.flink.table.api.{DataTypes, Table} /** * @Description TODO * @Aut...

海若_matrix的博客 3324

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Apache Flink Scala API 扩展(acceptPartialFunctions):用偏函数与模式匹配简化 DataStream/DataSet 开发

> 本文基于当前 Flink 仓库文档 [docs/content.zh/docs/dev/datastream/scala_api_extensions.md](https://link.gitcode.com/i/bae43691a44f17237d1301f52af1c473) 编写,并结合 `flink-scala` 与 `flink-streaming-scala` 模块源码深入讲解扩展

gitblog_00942的博客 519

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

26.flink table中使用水位线和event_time

flink table api使用事件时间和水位线条

笔生花的博客 1350

Flink上部署jar包运行报错解决【flink-1.12.3】

前言:本地IDEA运行没有问题,部署到flink上就报错,无法启动。如果你的JOB任务是DataStreamAPI写的不会有这个问题,我出现的问题是job任务是用tableAPI写的。 我pom文件的flink版本是1.13.0 部署的flink版本是flink-1.12.3 多嘴一句,我看网上的pom文件配置五花八门。啥样的都有,实在不知道该选择哪种。有的说需要打包的时候需要进行<scope>provided</scope>,反正我是没有。调试后,本地和flink上都可以

qq_38289091的博客 5058

PyFlink DataStream Operators 算子开发指南:变换、用户自定义函数、输出类型与算子链调优

> 本文基于 Apache Flink 仓库中 [docs/content.zh/docs/dev/python/datastream/operators/overview.md](https://link.gitcode.com/i/f045cd0b6cb2c5876f2e2a8943782b1d) 展开,系统讲解 PyFlink DataStream API 中算子的核心用法:如何用三种方式定

gitblog_00358的博客 791

Flink Table 时间属性(Time Attributes)完全指南:事件时间、处理时间与高级 Watermark 特性

时间属性(Time Attributes)是 Flink Table API 与 Flink SQL 中一切基于时间运算(滚动窗口、滑动窗口、会话窗口、Interval Join 等)的基石。本文围绕官方文档 [time_attributes.md](https://link.gitcode.com/i/ffa537fd8dd1a4626698e67303c4ce68) 展开,系统讲解在 `CRE

gitblog_00390的博客 114
上一篇: 搭建react空项目
下一篇: Flink 流表与维表join(流批join)——使用异步IO(async io)实现
iFence
博客等级 码龄9年 8051粉丝 111原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值