Flink 代码方式提交程序到远程集群运行

最新推荐文章于 2025-07-16 00:23:51 发布
原创 最新推荐文章于 2025-07-16 00:23:51 发布 · 2.4w 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种在Apache Flink中使用Scala提交本地IDE作业到远程集群的方法，并解决了提交过程中出现的序列化错误问题。


在学习Flink时候，看到如下方法，可以获取到远程集群上的一个ExecutionEnvironment实例，便尝试使用一下，将本地IDE作业提交到集群运行，代码如下：

  def createRemoteEnvironment(host: String, port: Int, jarFiles: String*): ExecutionEnvironment


代码： 

package com.daxin.batch

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.{ConfigConstants, Configuration}
//important: this import is needed to access the 'createTypeInformation' macro function
import org.apache.flink.api.scala._
/**
  * Created by Daxin on 2017/4/17.
  * https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/types_serialization.html#type-information-in-the-scala-api
  */
object RemoteJob {
  def main(args: Array[String]) {

    val env = ExecutionEnvironment.createRemoteEnvironment("node", 6123)

    val words = env.readTextFile("hdfs://node:9000/word/spark-env.sh")

    val data = words.flatMap(x => x.split(" ")).map(x => (x, 1)).groupBy(0).sum(1)

    println(data.count) //简单触发作业打印一下个数
  }
}

运行报错，百度，谷歌，bing搜索了老半天也没有解决。为了以后方便搜索到此错误，将粘出全部异常信息： 

Submitting job with JobID: 2e9a9550e8352e8f6cfd579b3522a732. Waiting for job completion.
Connected to JobManager at Actor[akka.tcp://flink@node:6123/user/jobmanager#950641914]
04/19/2017 19:37:21	Job execution switched to status RUNNING.
04/19/2017 19:37:21	CHAIN DataSource (at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:25) (org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Map (Map at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Combine(SUM(1))(1/1) switched to SCHEDULED 
04/19/2017 19:37:21	CHAIN DataSource (at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:25) (org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Map (Map at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Combine(SUM(1))(1/1) switched to DEPLOYING 
04/19/2017 19:37:21	CHAIN DataSource (at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:25) (org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Map (Map at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Combine(SUM(1))(1/1) switched to RUNNING 
04/19/2017 19:37:21	CHAIN DataSource (at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:25) (org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Map (Map at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:27)) -> Combine(SUM(1))(1/1) switched to FAILED 
java.lang.RuntimeException: The initialization of the DataSource's outputs caused an error: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:92)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:655)
	at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.RuntimeException: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1145)
	at org.apache.flink.runtime.operators.util.TaskConfig.getOutputSerializer(TaskConfig.java:551)
	at org.apache.flink.runtime.operators.BatchTask.getOutputCollector(BatchTask.java:1216)
	at org.apache.flink.runtime.operators.BatchTask.initOutputs(BatchTask.java:1295)
	at org.apache.flink.runtime.operators.DataSourceTask.initOutputs(DataSourceTask.java:286)
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:90)
	... 2 more
Caused by: java.lang.ClassNotFoundException: com.daxin.batch.RemoteJob$$anon$2$$anon$1
	at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:270)
	at org.apache.flink.util.InstantiationUtil$ClassLoaderObjectInputStream.resolveClass(InstantiationUtil.java:66)
	at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1612)
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:292)
	at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:250)
	at org.apache.flink.api.java.typeutils.runtime.RuntimeSerializerFactory.readParametersFromConfig(RuntimeSerializerFactory.java:76)
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1143)
	... 7 more

04/19/2017 19:37:21	Job execution switched to status FAILING.
java.lang.RuntimeException: The initialization of the DataSource's outputs caused an error: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:92)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:655)
	at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.RuntimeException: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1145)
	at org.apache.flink.runtime.operators.util.TaskConfig.getOutputSerializer(TaskConfig.java:551)
	at org.apache.flink.runtime.operators.BatchTask.getOutputCollector(BatchTask.java:1216)
	at org.apache.flink.runtime.operators.BatchTask.initOutputs(BatchTask.java:1295)
	at org.apache.flink.runtime.operators.DataSourceTask.initOutputs(DataSourceTask.java:286)
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:90)
	... 2 more
Caused by: java.lang.ClassNotFoundException: com.daxin.batch.RemoteJob$$anon$2$$anon$1
	at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:270)
	at org.apache.flink.util.InstantiationUtil$ClassLoaderObjectInputStream.resolveClass(InstantiationUtil.java:66)
	at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1612)
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:292)
	at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:250)
	at org.apache.flink.api.java.typeutils.runtime.RuntimeSerializerFactory.readParametersFromConfig(RuntimeSerializerFactory.java:76)
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1143)
	... 7 more
04/19/2017 19:37:21	Reduce (SUM(1))(1/1) switched to CANCELED 
04/19/2017 19:37:21	DataSink (org.apache.flink.api.java.Utils$CountHelper@516be40f)(1/1) switched to CANCELED 
04/19/2017 19:37:21	Job execution switched to status FAILED.
Exception in thread "main" org.apache.flink.client.program.ProgramInvocationException: The program execution failed: Job execution failed.
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:427)
	at org.apache.flink.client.program.StandaloneClusterClient.submitJob(StandaloneClusterClient.java:101)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:400)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:387)
	at org.apache.flink.client.program.ClusterClient.run(ClusterClient.java:362)
	at org.apache.flink.client.RemoteExecutor.executePlanWithJars(RemoteExecutor.java:211)
	at org.apache.flink.client.RemoteExecutor.executePlan(RemoteExecutor.java:188)
	at org.apache.flink.api.java.RemoteEnvironment.execute(RemoteEnvironment.java:172)
	at org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:926)
	at org.apache.flink.api.scala.ExecutionEnvironment.execute(ExecutionEnvironment.scala:672)
	at org.apache.flink.api.scala.DataSet.count(DataSet.scala:529)
	at com.daxin.batch.RemoteJob$.main(RemoteJob.scala:29)
	at com.daxin.batch.RemoteJob.main(RemoteJob.scala)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
	at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobManager.scala:900)
	at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply(JobManager.scala:843)
	at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply(JobManager.scala:843)
	at scala.concurrent.impl.Future$PromiseCompletingRunnable.liftedTree1$1(Future.scala:24)
	at scala.concurrent.impl.Future$PromiseCompletingRunnable.run(Future.scala:24)
	at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:40)
	at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:397)
	at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
	at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
	at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
	at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: java.lang.RuntimeException: The initialization of the DataSource's outputs caused an error: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:92)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:655)
	at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.RuntimeException: The type serializer factory could not load its parameters from the configuration due to missing classes.
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1145)
	at org.apache.flink.runtime.operators.util.TaskConfig.getOutputSerializer(TaskConfig.java:551)
	at org.apache.flink.runtime.operators.BatchTask.getOutputCollector(BatchTask.java:1216)
	at org.apache.flink.runtime.operators.BatchTask.initOutputs(BatchTask.java:1295)
	at org.apache.flink.runtime.operators.DataSourceTask.initOutputs(DataSourceTask.java:286)
	at org.apache.flink.runtime.operators.DataSourceTask.invoke(DataSourceTask.java:90)
	... 2 more
Caused by: java.lang.ClassNotFoundException: com.daxin.batch.RemoteJob$$anon$2$$anon$1
	at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
	at java.lang.Class.forName0(Native Method)
	at java.lang.Class.forName(Class.java:270)
	at org.apache.flink.util.InstantiationUtil$ClassLoaderObjectInputStream.resolveClass(InstantiationUtil.java:66)
	at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1612)
	at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1517)
	at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1771)
	at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1350)
	at java.io.ObjectInputStream.readObject(ObjectInputStream.java:370)
	at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:292)
	at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:250)
	at org.apache.flink.api.java.typeutils.runtime.RuntimeSerializerFactory.readParametersFromConfig(RuntimeSerializerFactory.java:76)
	at org.apache.flink.runtime.operators.util.TaskConfig.getTypeSerializerFactory(TaskConfig.java:1143)
	... 7 more

注意到有一行异常信息： 

java.lang.RuntimeException: The initialization of the DataSource's outputs caused an error: The type serializer factory could not load its parameters from the configuration due to missing classes.

总以为是序列化的问题，反复查看文档也没有找到解决访问！最后又回头查了一下Api文档，发现createRemoteEnvironment方法的第三个参数是一个可变参数，并不是有默认值，这个被Scala函数可以提供默认值给思维定势了，后来加上第三个参数为作业程序的Jar之后便可以正确提交到远程集群运行了！


正确代码如下：


package com.daxin.batch

import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.{ConfigConstants, Configuration}
//important: this import is needed to access the 'createTypeInformation' macro function
import org.apache.flink.api.scala._
/**
  * Created by Daxin on 2017/4/17.
  * https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/types_serialization.html#type-information-in-the-scala-api
  */
object RemoteJob {
  def main(args: Array[String]) {

    val env = ExecutionEnvironment.createRemoteEnvironment("node", 6123,"C://logs//flink-lib//flinkwordcount.jar")

    val words = env.readTextFile("hdfs://node:9000/word/spark-env.sh")

    val data = words.flatMap(x => x.split(" ")).map(x => (x, 1)).groupBy(0).sum(1)

    println(data.count) //简单触发作业打印一下个数
  }
}


最后注意：如果是为了方便本地代码打包在集群中运行的话，最好保持代码和jar一致性，言外之意就是修改之后最好也从新打jar包





【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到远程k8s服务器
九师兄
04-30 764
然后我们在文章中学会了怎么提交任务到自己本地的k8s环境中。现在我们要把任务提交到远程服务器，对方的是k8s环境，但是对方的环境使用的是contains，不是docker容器。我们本次是从本地的docker环境放到k8s环境上。先根据文章打包到本地镜像。然后我们在文章中导入本地镜像到远程。
Seatunnel提交任务到Flink集群源码解析
qq_42488390的博客
04-24 1862
进入到internalSource这个变量的run方法里面去，其中实现的方法，主要是ParallelSource，这个类里面，主要是对读取数据进行了相应的封装，主要是采用了，多个reader的方式来读取表当中的数据的方式，来读取数据。1：首先是组件sourcePluginExecuteProcessor，这个组件主要是用于生成source端，这个方法也是所有的封装当中最终要的一个类，接下来，我们仔细研究一下这个类，这个类里面主要调用这个方法，3：第二个大的组件是sink端，
使用Flink命令行和Java API远程提交Flink任务到Yarn
Bulut0907
09-23 1662
然后下载flink-runtime-web-1.15.0.jar、flink-connector-jdbc-1.15.0.jar、mysql-connector-java-8.0.29.jar，上传到HDFS的/flink/remote-submit-lib下。下载flink-clients-1.15.0.jar、log4j-1.2-api-2.17.2.jar，到/opt/flink-remote-submit/java-lib目录下。然后上传datasync-test的jar包到创建的目录下。
flink远程提交
qq_29499107的博客
01-29 1892
a
Apache Flink 详解 速览
最新发布
csdn_tom_168的博客
07-16 1088
Apache Flink 核心解析与实战 Flink作为统一流批处理引擎，具备事件级处理、高效状态管理和低延迟高吞吐特性。其架构包含JobManager、TaskManager等组件，支持DataStream API和Table API/SQL两种编程模型，实现流批一体处理。关键机制包括状态管理（ValueState、ListState等）、Checkpoint容错（Exactly-Once语义）以及时间语义（Event Time、Watermark）。窗口操作（滚动、滑动、会话）和StateBackend
使用java远程提交flink任务到yarn集群
weixin_43039757的博客
05-13 2462
由于业务需要，使用命令行的方式提交flink任务比较麻烦，要么将后端任务部署到大数据集群，要么弄一个提交机，感觉都不是很离线。经过一些调研，发现可以实现远程的任务发布。接下来就记录一下实现过程。这里用flink on yarn 的Application模式实现。
flink on yarn 远程提交
尤托匹亚的博客
08-29 863
【代码】flink on yarn 远程提交。
Flink实践：idea将Flink任务提交到远程flink集群
Yuan_CSDF的博客
06-10 2347
1.idea将Flink任务提交到远程Flink集群 在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群： def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = { new StreamExecutionEnvironment(JavaEnv.createRemoteEnvi
Flink 环境的搭建、独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三种方式、Flink读取HDFS上的数据Flink 运行方式
qq_41946216的博客
02-18 2327
Flink：框架和（分布式）引擎，对（有界和无界）数据流进行有状态（即存储中间结果）计算。有定义的开始，没有结束，必须持续处理，即摄取到数据立即处理有定义的开始，也有结束，摄取到所有数据后再计算，可以被排序，即无需有序摄取，通常称为批处理。内存：速度快，可靠性差分布式系统：速度慢，可靠性强DataStream 批流统一处理DataStream 批流统一处理，数据流的统一处理接口。批处理，是将其数据当作有界(有定义开始，有定义结束)流处理，例如文本文件数据。
Flink-Application模式提交任务到Yarn集群，包括jar包提交方法和javaApi提交方法
clearlxj的博客
09-30 7821
Flink Application 对于per job模式，jar包的解析、生成JobGraph是在客户端上执行的，然后将生成的jobgraph提交到集群。如果任务特别多的话，那么这些生成JobGraph、提交到集群的操作都会在实时平台所在的机器上执行，那么将会给服务器造成很大的压力。 此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应 的临时目录，这个也会带来大量的网络的开销，所以如果任务特别多的情况下，平台的吞吐量将会直线下降。 所以针对flink per job模式的一些
springboot集成flink并发布flink集群端运行
m0_67391518的博客
08-02 1179
先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。使用spring-boot-maven-plugin打的jar包，提交到flink集群端执行，会报错，提示找不到类，因为springboot默认打包BOOT-INF目录，flink服务端执行会提示找不到类。背景近期项目需要，引入flink，研究了下flink，步步踩坑终于可以单独运行，也可发布到集群运行，记录下踩坑点。以下代码实现了某个时间间隔，设备不上传数据，判断为离线的逻辑。...
通过java代码的方式提交任务远程到flink集群
chang2p的博客
11-29 2040
flink远程提交任务
Flink学习笔记（三）：任务提交详细流程
gentlewei的博客
02-05 4820
文章目录1.Flink多种提交方式对比1.1 local模式1.1.1 纯粹的local模式运行1.1.2 local使用remote的方式运行1.1.3 本地提交到remote集群1.2 standalone模式1.3 yarn模式1.3.1 yarn-session1.3.2 yarn-cluster2.flink命令参数详解3.flink on yarn作业提交详细流程 1.Flink多种提...
Flink-Source(数据源)
qq_38304392的博客
06-06 679
1.Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。 ...
2、flink计算任务可以在哪些环境中运行
向热爱自己一样，热爱这个世界。
03-29 942
用一个例子告诉你 怎样Flink DataStream API 中获取执行环境对象
flink的常见的任务提交方式
zhizhi120的博客
01-26 2881
flink执行任务的三种方式，flinksql、flinkjar和flink Rest API
Flink本地集群部署启动&常见问题的解决方法
Appreciate(欣赏)
07-16 3677
访问页面http://localhost:8081/#/overviewi页面slots卡槽数正确展示说明启动成功。解决方法：设置taskmanager和jobmanager允许所有机器连接。启动成功taskmanager会出现如下进程。启动集群在jobmanager那台机器启动。启动成功jobmanager会出现如下进程。解决方法，检查以下配置是否正确。
Flink on yarn实践中踩过的一些坑
qq_31957747的博客
09-30 3206
Flink on yarn实践中踩过的一些坑 背景 最近公司项目在做实时计算相关，也是使用了flink做实时计算的引擎，是以flink on yarn的方式进行任务的调度，过程中也踩了一些坑，没有完整记录下来，就记录一些自己印象比较深刻的问题或者坑，希望对大家也有所帮助，问题如下： 1、jar包集群lib中管理？ or maven打fat jar？ 2、运行直接报错 Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException:
Flink CDC 报错记录
qq_41875667的博客
05-31 1349
Flink cdc 报错记录
运行flink程序，实现定时工作流
12-28
### 如何在Flink中实现定时调度的工作流 #### 使用 `ProcessFunction` 实现定时任务 为了在 Apache Flink 中实现定时调度功能，可以借助于 `ProcessFunction` 的能力。此函数提供了对每个元素进行复杂处理的能力，并支持状态管理和定时器设置[^2]。 下面是一个简单的例子，展示如何创建一个带有定时器的任务： ```java public class MyProcessFunction extends KeyedProcessFunction<Tuple, String, String> { @Override public void processElement(String value, Context ctx, Collector<String> out) throws Exception { // 设置一个延迟触发的计时器，在当前时间戳后的10秒执行 long timerTimestamp = ctx.timestamp() + TimeUnit.SECONDS.toMillis(10); ctx.timerService().registerEventTimeTimer(timerTimestamp); // 输出接收到的消息 System.out.println("Received message: " + value); } @Override public void onTimer(long timestamp, OnTimerContext ctx, Collector<String> out) throws Exception { super.onTimer(timestamp, ctx, out); // 当定时器到期时触发的动作 System.out.println("Timer triggered at time: " + new Date(timestamp)); } } ``` 这段代码展示了如何在一个键控环境中注册基于事件时间和处理时间的定时器。每当有新消息到达时，会为其设定一个新的定时器；当这些定时器过期时，则会在相应的回调方法中执行特定操作。 #### 配置与部署 要使上述代码正常运行，还需要确保以下几点配置正确无误: - **依赖项**: 确认项目已引入必要的 Maven 或 Gradle 依赖。 - **环境搭建**: 构建适合开发测试使用的本地集群或远程生产环境。 - **作业提交**: 将编写好的应用程序打包成 JAR 文件并通过命令行或其他方式提交给 Flink Cluster 执行。 对于托管状态的应用场景来说，建议尽可能使用 Flink 自带的状态后端来简化应用开发过程中的状态管理难题[^3]。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

javartisan

对您有帮助，欢迎老板赐一杯奶茶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值