flink Cannot find compatible factory for specified execution.target (=local)

flink-1.10 统一作业提交逻辑 文章目录1.FLIP-73 : 通用的 Executor 接口2.FLIP-81:Executor 相关的新配置3.FLINK-74:Flink JobClient API flink-1.10 之前,任务提交通常遇到以下问题: 任务提交由 Execution Environments 负责,并且和部署的环境(yarn k8s mesos)高度绑定,导致最终 Execution Environm... 阅读详情

初入 flink  wordcount    报错如下 

 

/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=56188:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -classpath /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/charsets.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/deploy.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/cldrdata.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/dnsns.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/jaccess.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/jfxrt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/localedata.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/nashorn.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/sunec.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/sunjce_provider.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/sunpkcs11.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/ext/zipfs.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/javaws.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/jce.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/jfr.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/jfxswt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/jsse.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/management-agent.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/plugin.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/resources.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre/lib/rt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/ant-javafx.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/dt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/javafx-mx.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/jconsole.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/packager.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/sa-jdi.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/lib/tools.jar:/Users/H/Code/flinklearning/target/classes:/Users/Shared/scala/lib/scala-library.jar:/Users/Shared/scala/lib/scala-xml_2.11-1.0.5.jar:/Users/Shared/scala/lib/scala-parser-combinators_2.11-1.0.4.jar:/Users/Shared/scala/lib/scala-actors-migration_2.11-1.1.0.jar:/Users/Shared/scala/lib/scala-actors-2.11.0.jar:/Users/Shared/scala/lib/scala-swing_2.11-1.0.2.jar:/Users/Shared/scala/lib/scala-reflect.jar:/Users/Shared/mavenrep/org/apache/flink/flink-scala_2.11/1.10.1/flink-scala_2.11-1.10.1.jar:/Users/Shared/mavenrep/org/apache/flink/flink-core/1.10.1/flink-core-1.10.1.jar:/Users/Shared/mavenrep/org/apache/flink/flink-annotations/1.10.1/flink-annotations-1.10.1.jar:/Users/Shared/mavenrep/org/apache/flink/flink-metrics-core/1.10.1/flink-metrics-core-1.10.1.jar:/Users/Shared/mavenrep/org/apache/commons/commons-lang3/3.3.2/commons-lang3-3.3.2.jar:/Users/Shared/mavenrep/com/esotericsoftware/kryo/kryo/2.24.0/kryo-2.24.0.jar:/Users/Shared/mavenrep/com/esotericsoftware/minlog/minlog/1.2/minlog-1.2.jar:/Users/Shared/mavenrep/org/objenesis/objenesis/2.1/objenesis-2.1.jar:/Users/Shared/mavenrep/commons-collections/commons-collections/3.2.2/commons-collections-3.2.2.jar:/Users/Shared/mavenrep/org/apache/commons/commons-compress/1.18/commons-compress-1.18.jar:/Users/Shared/mavenrep/org/apache/flink/flink-shaded-guava/18.0-9.0/flink-shaded-guava-18.0-9.0.jar:/Users/Shared/mavenrep/org/apache/flink/flink-java/1.10.1/flink-java-1.10.1.jar:/Users/Shared/mavenrep/org/apache/commons/commons-math3/3.5/commons-math3-3.5.jar:/Users/Shared/mavenrep/org/apache/flink/flink-shaded-asm-7/7.1-9.0/flink-shaded-asm-7-7.1-9.0.jar:/Users/Shared/mavenrep/org/scala-lang/scala-reflect/2.11.12/scala-reflect-2.11.12.jar:/Users/Shared/mavenrep/org/scala-lang/scala-library/2.11.12/scala-library-2.11.12.jar:/Users/Shared/mavenrep/org/scala-lang/scala-compiler/2.11.12/scala-compiler-2.11.12.jar:/Users/Shared/mavenrep/org/scala-lang/modules/scala-xml_2.11/1.0.5/scala-xml_2.11-1.0.5.jar:/Users/Shared/mavenrep/org/scala-lang/modules/scala-parser-combinators_2.11/1.0.4/scala-parser-combinators_2.11-1.0.4.jar:/Users/Shared/mavenrep/org/slf4j/slf4j-api/1.7.15/slf4j-api-1.7.15.jar:/Users/Shared/mavenrep/com/google/code/findbugs/jsr305/1.3.9/jsr305-1.3.9.jar:/Users/Shared/mavenrep/org/apache/flink/force-shading/1.10.1/force-shading-1.10.1.jar com.hbn.wc.WordCount
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" java.lang.NullPointerException: Cannot find compatible factory for specified execution.target (=local)
	at org.apache.flink.util.Preconditions.checkNotNull(Preconditions.java:104)
	at org.apache.flink.api.java.ExecutionEnvironment.executeAsync(ExecutionEnvironment.java:937)
	at org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:860)
	at org.apache.flink.api.java.ExecutionEnvironment.execute(ExecutionEnvironment.java:844)
	at org.apache.flink.api.java.DataSet.collect(DataSet.java:413)
	at org.apache.flink.api.java.DataSet.print(DataSet.java:1652)
	at org.apache.flink.api.scala.DataSet.print(DataSet.scala:1864)
	at com.hbn.wc.WordCount$.main(WordCount.scala:22)
	at com.hbn.wc.WordCount.main(WordCount.scala)

 

发现 依赖有 问题 

此处的 《scope》  去掉即可 

 

 <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.10.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.10.1</version>
            <!--<scope>provided</scope>-->
        </dependency>

 

Flink 1.10: Cannot find compatible factory for specified execution.target (=local)          flink1.10的一个本地Demo测试过程中出现的一个问题,很简单的一段Word Count问代码: package flink.io import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ objec... 阅读详情

相关推荐

Flink : Cannot find compatible factory for specified execution.target (=local)

1.美图 2.背景 一个写的好好地flink程序,原本是 1.9开发的,现在升级到1.10然后报错

九师兄 1601

Flink SQL CDC 上线

01 项目背景 本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目,需要提供高效且准确的 OLAP 服务,提供灵活且实时的报表。业务数据存储在 MySQL 中,通过主从复制同步到报表库。作为集团级公司,数据增长多而且快,出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务,有些千万级大表仍然需要进行 Join,计算规模非常惊人,经常不能及时响应请求。 随着数据量的日益增长和实时分析的需求越来越大,急需对系统进行流式计算、实时化改造。正是在这个背景下,开始了我们与 Flink S

Baron_ND的博客 799

60-130-336-源码-source-kafka相关-Flink读取kafka

1.美图 2.概述 ​ 在Flink中,我们分别用Source Connectors代表连接数据源的连接器,用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 3.Apache Kafka Source Connectors ​ Apache Kafka 是一个分布式的流平台,其核心是一...

九师兄 827

Flink1.15源码解析--任务提交流程----flink run

flink-1.15源码解析-- 任务提交

chbxw 1711

大数据Flink(七):​​​​​​​参数总结

参数总结 [root@node1 bin]# /export/server/flink/bin/flink --help ./flink <ACTION> [OPTIONS] [ARGUMENTS] The following actions are available: Action "run" compiles and runs a program. Syntax: run [OPTIONS] <jar-file> <arguments> ..

Lansonli(蓝深李)的博客 1547

固态变压器SST 1.1 课程整体框架与学习路径

本课程围绕固态变压器(SST)全生命周期工程化流程设计,构建"规范要求-理论基础-设计方法-仿真验证-工程落地"的闭环学习体系,完整覆盖GB/T 40429-2021标准要求。课程分为基础认知、核心设计、合规验证、工程落地和前沿拓展五大模块,采用理论讲解与工程实践深度融合的教学路径,通过规范条款拆解、仿真预验证、硬件实现、试验检测等环节,培养学员从设计到落地的完整能力。课程强调标准合规性,每个设计环节均有明确规范约束,并提供标准化工程模板,确保学习成果可直接应用于实际项目开发。

技术工作者 997

Cannot find compatible factory for specified execution.target (=local)

目录背景描述错误信息解决方案 背景描述 本地运行Flink入门的word count项目,但是运行是报错,提示如下信息。 错误信息 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: ...

Scnu_wang的博客 1627

ros2 humble中使用realsense t265与d435

前提,安装realsense SDK 2.51.1版本并且能成功启动realsense-viewer V2.51.1想要在ros2中使用realsense t265,必须配合realsense SDK v2.51.1使用realsense-ros 4.51.1版本,因为新版本realsense ros2不再对t265支持下面记录源码编译安装 realsense-ros 4.51.1版本。

m0_72797388的博客 956

Flink 1.10.1 Cannot find compatible factory for specified execution.target (=local)n编辑器1

前言 学习flink时写的一个本地demo在测试过程中报错,一个很简单的word count代码 package com.ieg.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api

zty 276

【nvidia-B200】实际生产报错NVRM: nvAssertFailedNoLog: Assertion failed: pIOVAS != NULL @ io_vaspace.c:601

升级 NVIDIA 驱动到 R545/R550 数据中心版本(解决 IOVA bug,这是性能差的根本原因);重启服务器(清理驱动残留资源,消除日志中的 NVRM 错误);验证 NVLink/PCIe 链路(确保 8 卡互联使用高速链路,而非单卡 PCIe 共享带宽)。完成这 3 步后,ncccl-test的all_reduce带宽应能提升至100GB/s 以上(取决于服务器的 NVLink/NVSwitch 配置),恢复正常性能。

jundao1997的专栏 652

工业质检终极方案:C#上位机融合 YOLO+Blob分析(一站式尺寸测量+缺陷检测)

本次上位机界面严格遵循工业现场操作规范简洁、直观、按钮大、文字清晰、参数可视化调节,操作人员为车间工人/质检员,无需复杂操作,所有功能一目了然。所有控件均为WinForms原生控件,拖拽即可完成布局,无任何自定义控件,开发效率拉满,核心布局永久复用本次实战完成的C#上位机+YOLO+Blob融合质检方案,是工业规则零件全尺寸质检的终极落地方案,完美解决了单一检测方案的所有短板,具备以下不可替代的工业价值。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1344

Flink1.10入门:时间机制简介

微信公众号:大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议,请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助,欢迎转发朋友圈 一、概述 上篇文章介绍了Window窗口机制的相关知识,这里我们介绍下Flink的另外一个核心概念“Event Time机制”,本篇文章只介绍相关概念不讲实战,实战会结合Window窗口机制一起讲解。 二、Flink中的三...

陆继森的技术专栏 548

【WRF安装】完整自动化 WRF-ARW/WRF-Chem 安装脚本(多服务器测试)

【WRF安装】完整自动化 WRF-ARW/WRF-Chem 安装脚本(多服务器测试)

WW、forever的博客 285

flink 作业提交流程

之前给大家介绍了DataStream API中 Environment 和 Transformation 连个体系的源代码,今天来了小插曲,给大家宏观介绍下 Flink 作业的提交流程,希望对大家有帮助。 一、DataStream 作业提交流程 1)、首先,先给大家展示下流程图: 2)、提交流程说明: FlinkCli 先创建一个 Flink 环境变量 然后将环境变量存入到ThreadLocal中 在启动 Flink 作业jar包的 main 方法 Flink 应用程序通过 StreamExecution

weixin_39856351的博客 3232

【python三维深度学习】python三维点云从基础到深度学习

从三维点云基础知识到深度学习,将按照以下目录持续进行更新。更新完成的部分可以在三维点云专栏中查看。含数据与python源码。

叶子的博客 2万+

通过Simulink搭建一个智能微电网能量管理系统(Energy Management System, EMS)

通过上述代码实现,您可以逐步创建一个智能微电网能量管理系统。多源能量集成:整合光伏、风力发电、柴油发电机、电池储能等多种能源资源。负荷预测与调度:基于历史数据和天气预报,预测未来负荷和可再生能源输出,进行优化调度。储能系统优化:设计合理的充放电策略,确保储能系统的高效利用和寿命延长。经济性分析:评估不同运行模式下的经济性,考虑电价、维护成本等因素。环境影响评估:分析微电网对环境的影响,如减少碳排放、提高可再生能源利用率等。硬件在环仿真(HILS)

amy_mhd的博客 314

项目案例:Flink1.14 SQL实现Window TOPN

在Flink1.13版本中,提出了窗口表值函数(Window TVF)的实现,用于替代旧版的窗口分组(group window)语法,极大简化了Flink SQL代码量,同时提高了执行性能。

大数据研习社 1521

基于simulink的软开关技术的三相逆变器仿真

三相逆变器中的软开关技术(Soft Switching Techniques)旨在减少开关损耗,提高效率,并降低电磁干扰(EMI)。实现软开关通常涉及使用谐振电路或准谐振电路来确保开关器件在零电压(Zero Voltage Switching, ZVS)或零电流(Zero Current Switching, ZCS)条件下进行切换。下面将详细介绍如何在Simulink中进行基于软开关技术的三相逆变器仿真设计。

xiaoheshang_123的博客 163

Flink电商分析问题解决记录——用户行为分析

问题描述:电商分析范例工程采用Flink 1.7.2开发,而且部分代码使用scala。适应新版本Flink1.11和代码改写成Java是主要要解决的问题。

江南T雨 421

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Flink源码阅读之基于Flink1.10的任务提交流程

Flink在1.10版本对整个作业提交流程有了较大改动,详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析,不深究。 入口: 依旧是main函数最后env.execute(); public JobExecutionResult execute(String jobName) throws Exception { Preconditions.checkNotNull(jobN...

weixin_41608066的博客 1865

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

flink on yarn

Yarn Session 启动成功后,会创建一个/tmp/.yarn-properties-root文件,记录最近一次提交到 Yarn 的 Application ID,执行以下命令启动 SQL 客户端命令行界面,后续指定的 Flink SQL 会提交到之前启动的 Yarn Session Application。作业执行的顺序不受部署模式的影响,但是会受启动作业的调用方式影响。为每一个应用启动一个集群,应用运行在JM上(由JM来执行应用中的main()方法),应用结束,集群关闭。

枪枪枪的博客 3226

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

flink启动命令分析

flink启动命令分析 1. flink启动命令的固定格式 ./flink <ACTION> [OPTIONS] [ARGUMENTS] 2 <ACTION>种类 run 编译和运行一个程序。 run-application 在应用模式下运行一个应用程序 info 显示程序的优化执行计划(JSON)。 list 列出正在运行的和计划中的程序。 stop 用一个保存点停止一个正在运行的程序(只限于流式工作)。 cancel 取消一个正在运行的程序 savepoi

杜海的博客 3864

报错:Could not find a suitable table factory for ‘org.apache.flink.table.factories.TableSourceFactory

重要错误提示:这是在提交yarn时报的错误,原因其实就是少了一些包,提交的集群后一些依赖包使用flink的lib目录下的,所以我需要将一些依赖包放到lib目录下。我们看到缺少的是org.apache.flink.table.factories.TableSourceFactory类,所以对应的应该是flink连接JDBC的包。这里我们去官网上下载你对应flink版本的连接JDBC的包,如下图: 放到提交集群的客户机部署的flink的lib目录下。可以看到上面最主要的是缺少依赖包,其实像很多类似的错误都是由于

Chenftli的博客 5512

Flink 原理与实现:架构和拓扑概览

架构 要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。 当 Flink 集群启动后,首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager,JobManager 再...

weixin_34364135的博客 535

二十一、Flink源码阅读--ExecutionGraph生成过程

在上一篇服务端处理jobGraph提到,jobGraph是转换为executionGraph,最后被执行调度的,那么本篇我们看下这一过程的源码 源码分析 从JobMaster的启动开始讲起 JobMaster.start—>JobMaster.startJobExecution—>resetAndScheduleExecutionGraph方法将JobGraph转换为 Execut...

大数据之路 1135

Flink 本地执行入门

一、maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.6.3</flink.version> <java.version>1.8</j...

qq_34936033的博客 724
上一篇: flink 隐式转换的问题
下一篇: flink wordcount demo
H.King
博客等级 码龄10年 4粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值