客户端提交flink任务到集群失败Clock skew too great

最新推荐文章于 2025-11-18 17:15:34 发布
原创 最新推荐文章于 2025-11-18 17:15:34 发布 · 366 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #服务器 #大数据

博客内容描述了在公司环境中遇到的一个问题，即Linux云主机上的时钟时间偏差导致Flink任务提交失败。由于时差超过了5分钟，任务无法正常执行。解决方法是调整系统时间，使用`date`命令设置正确的时间，确保与集群保持一致，从而避免Clockskew错误。

前两天公司客户端云主机提交flink任务到集群失败Clock skew too great（Linux时差过大超过5min提交失败）

需要修改时钟时间

date -s '2022-07-03 16:47:50'

flink实战--Application模式下java程序将flink任务提交到yarn集群
阿华田的博客
01-19 3449
扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦 简介 对于单个flink任务提交到yarn集群，通过命令行的方式是能接受的，但是我们开发实时计算平台就需要通过代码的方式将我们管理的flink任务提交到yarn集群上去。本文主要介绍flink1.11新的部署模式–Application模式，具体Application模式和其他提交方式的区别可以参考我的这篇文章：flink on yarn。 程序提交flink任务的步骤 第一步：引入相关的配置到...
flink实战--idea本地提交Flink任务到远程的集群
阿华田的博客
01-08 4920
简介 你是不是还在打包上传到远程集群运行flink任务？这样会浪费很多时间，为了节约大家的时间，flink提供了createRemoteEnvironment方法，可以实现本地任务提交到远程集群的方法，本文具体介绍一下。 createRemoteEnvironment 源码如下：org.apache.flink.api.java.R...
kerberos： Clock skew too great (37) - PROCESS_TGS
玉汝于成
06-07 799
时钟同步问题：所有参与 Kerberos 验证系统的主机都必须在指定的最长时间（称为时钟相位差）内同步其内部时钟。针对这一要求，需要进行另一种 Kerberos 安全检查。如果任意两台参与主机之间的时间偏差超过了时钟相位差，则客户机请求会被拒绝。时钟相位差的最大缺省值为 300 秒（5 分钟）。出于安全原因，不要将时钟相位差增大到超过 300 秒。
Flink 会话模式Yarn部署完成后无法提交作业
qq_44540985的博客
12-09 1569
Flink 会话模式Yarn部署完成后无法提交作业
ASP.NET Core JWT 过期问题深度解析（99%开发者忽略的关键配置）
最新发布
FastDebug的博客
11-18 439
解决ASP.NET Core JWT过期难题，详解令牌刷新机制与关键配置。涵盖认证流程、有效期设置及安全实践，提升系统安全性与用户体验。99%开发者忽略的细节全解析，值得收藏。
Flink 无法添加依赖包提交到集群的解决方案
weixin_43613717的博客
10-23 1113
问题描述 flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做，但是事实是我们不想打一个fat包，我们希望将业务独立出来，依赖动态提交，而且fat包占空间大，上传集群费时，不方便迭代 解决方案 思路：程序在打包的时候，不打超级包，在提交节点提前上传好需要的依赖，然后在...
Clock skew too great
u012667450的博客
11-18 3404
Clock skew too great 问题描述 临近下班时间，一同事问，客户端kerberos认证成功后，访问Hive，报错Clock skew too great。什么原因？ 产生原因 我也是第一次碰到这种问题。于是检查了下kerberos的票据，有不对的。于是重新生成keytab文件。 做了如上操作后，再次kinit认证后。仍然报该异常。 这时，该同事有紧急事情，需要先走。 行。你先撤吧，你把报错信息复制给我，我看下。 于是上网查了下，其实问题很简单：时钟偏差太大。主要是skew单词不认识。倾斜的
Clock skew too great(37)-PREAUTH_FAILED
生如夏花之灿烂
04-17 1万+
在服务器上启动服务时，日志报如下错误：Clock skew too great(37)-PREAUTH_FAILED，貌似是时间不对导致的华为云权限验证失败，比较服务所在服务器的时间和zk服务所在服务器时间，差了5分钟左右。 使用date -s 14:00:00 命令修改服务器时间和zk服务器时间保持一致，再使用命令hwclock -w将修改写入BIOS，防止重启服务器导致修改失效，再次启动服务...
精选资源
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
因此，为方便大数据开发人员进行快速开发调试，开发了从本地IDEA提交Flink/Spark任务到集群的工具类。任务提交代码稍加改造后也可以和上层调度系统进行集成，替代脚本模式进行任务提交的方式。 支持Flink yarnPerJob...
通过java代码的方式提交任务远程到flink集群
chang2p的博客
11-29 2068
flink远程提交任务
Flink实践：idea将Flink任务提交到远程flink集群
Yuan_CSDF的博客
06-10 2420
1.idea将Flink任务提交到远程Flink集群 在Flink的StreamExecutionEnvironment.scala中有如下2个方法可以将任务提交到Flink集群： def createRemoteEnvironment(host: String, port: Int, jarFiles: String*):StreamExecutionEnvironment = { new StreamExecutionEnvironment(JavaEnv.createRemoteEnvi
KrbException: Clock skew too great (37) - PREAUTH_FAILED问题解决与服务器时钟同步
wysghmbb的博客
12-29 5830
最近遇到这样的问题： 运行十几天的代码突然发生了连接hadoop时kerberos认证不了的问题，仔细分析日志，发现在LoginException下方有这样一句话： Caused by: sun.security.krb5.KrbException: Clock skew too great (37) - PREAUTH_FAILED 原因： k8s服务器和hadoop服务器时间相差过大，导致kerberos认证失败。 解决方法： 查看系统时间： date “+%Y-%m-%d %H:%M:%S” 更改
zookeeper krb5认证时报 (Mechanism level: Clock skew too great (37) - PROCESS_TGS)])
Mr_JK的专栏
05-19 1877
原因：服务器时间和本地时间相差太大导致预验证失败 查询服务器时间date 发现时区和zookeeper集群的时间和时区不一样，修改时间和时区： 一、手动修改(注意要用root用户, 否则提示没权限)date -s "2021-05-17 21:05:00" 二、同步网络时间（使用ntp服务） 1.安装ntpyum install ntp 2.同步服务器时间ntpdate cn.ntp.org.cn 3.如果遇到：the NTP socket is in use, exiting。（
flinksql任务-任务失败因concurrent upload/insert operations on the same table
kaisadaditebaba的博客
11-21 387
Caused by: java.lang.RuntimeException: RequestId=20221114110517d4cadc0b06f046a4, ErrorCode=MetaTransactionFailed, ErrorMessage=Operation failed due to concurrent upload/insert operations on the same table.
Clock skew
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
08-30 854
时钟偏差（有时称为时序偏差）是同步数字电路系统（如计算机系统）中的一种现象，其中由于门电路或更先进的半导体技术中导线信号传播延迟，，它决定了电路上设备的序列和节奏。这个时钟从单个源分发到电路的所有存储元件，这些元件例如可以是寄存器或触发器。理想情况下，每个存储元件的输入都会在下一个时钟脉冲之前达到其最终值，以便能够精确预测整个电路的行为。系统能够运行的最大速度必须考虑到由于物理组成、温度和路径长度差异而在电路的各个元件之间发生的差异。
Flink03---Flink中怎么提交任务
A0ZBC的博客
03-22 614
1.提交任务的两种方式 1.Flink web ui（下面详细介绍） 2.命令行 在Flink安装的根目录下执行 ./bin/flink run -c 包名.主类名 -p 并行度参数 jar包路径 程序参数 测试例子： ./bin/flink run -c com.scau.zcw.streamWordCount -p 3 /opt/jarhome/Flink01-1.0-SNAPSHOT.jar --host localhost --port 7777 此时对应的取消任务的方式为 //列举出当前的任务
flink java提交任务，根据jobname获取jobid，rest获取任务的状态
热门推荐
不是一枚开发
08-03 8万+
1.传入jobname: public class ReduceDemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> words = env.socketT
Flink任务执行错误：无法部署YARN集群大数据任务
TechWhiz的博客
08-17 1060
总结一下，当我们尝试将Flink任务部署到YARN集群时，有时会遇到"exitCode= the main method caused an error: could not deploy yarn job cluster"的错误。通过确保YARN集群正常运行、检查Flink和YARN的版本兼容性、正确配置Flink和YARN的相关配置文件，以及重新启动相关服务，我们可以解决这个问题。确保YARN集群正常运行：在提交Flink任务之前，确保YARN集群已经正确安装和配置，并且所有的节点都处于正常运行状态。
kafka消费Clock skew too great (37)，CPU打爆
Amarone'blog
12-20 2117
​ 记一次生产事故，springboot消费kafka时于凌晨0~4点频繁报错且整天cpu持续90%以上占用。
Flink如何提交任务到集群上
06-03
在Flink中，我们可以使用多种方式提交任务到集群上，以下是其中常用的两种方式： 1. 使用Flink Web UI提交任务：Flink提供了一个Web UI，我们可以通过该界面方便地提交任务到集群上。具体步骤如下： 1. 打开Flink Web UI，地址为 `http://<flink-master>:8081`，其中 `<flink-master>` 是Flink集群的Master节点的IP地址或主机名。 2. 点击页面右上角的 "Submit new Job" 按钮，进入任务提交界面。 3. 在任务提交界面中，选择要提交的任务Jar包，填写任务相关参数（例如并行度、任务名称等），然后点击 "Submit" 按钮即可。 2. 使用Flink命令行工具提交任务：Flink还提供了一个命令行工具 `flink run`，我们可以通过该工具在命令行中提交任务到集群上。具体步骤如下： 1. 在Flink集群的任意节点上打开终端，输入以下命令进入Flink安装目录： ``` cd <flink-install-dir> ``` 其中 `<flink-install-dir>` 是Flink的安装目录。 2. 使用以下命令提交任务： ``` ./bin/flink run -c <job-class> <job-jar> [options] ``` 其中： - `<job-class>` 是Flink应用程序的主类名。 - `<job-jar>` 是Flink应用程序的Jar包路径。 - `[options]` 是可选参数，可以指定任务相关的参数，例如并行度、任务名称等。 例如，如果我们要提交一个名为 `WordCount` 的Flink应用程序，其主类为 `com.example.WordCount`，Jar包路径为 `/path/to/WordCount.jar`，并行度为4，可以使用以下命令提交任务： ``` ./bin/flink run -c com.example.WordCount -p 4 /path/to/WordCount.jar ``` 以上是两种常用的提交Flink任务到集群的方式，可以根据实际需求选择。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值