如果调度昨天正常运行，今天突然跑的比较慢，这是什么原因（面试题）

最新推荐文章于 2025-12-11 18:40:05 发布
原创 最新推荐文章于 2025-12-11 18:40:05 发布 · 85 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #etl #面试

在面对日志排查时，通常先查看上游是否延迟，然后检查自身任务是否存在数据量暴增或数据倾斜问题。此外，考虑资源层面，如集群计算资源是否在大促等高负载时期被抢占，以及任务的复杂度和优先级是否影响到资源分配，可能导致任务等待执行。

我回答的是看日志，然后逐步排查，他又让我举个工作中，遇见的场景，呜呜…

网友提供：

一看上游是不是产出晚了，如果是自己的问题，看是不是数据量有暴增，是不是出现数据倾斜，再看资源问题，是不是集群计算资源不够了（比如大促时期有些任务会挂高级基线抢占集群资源）

还有种情况就是自己的任务比较复杂，资源消耗量大，在资源紧张并且任务优先级不高的时候很容易等待资源

2024年大数据高频面试题(下篇）
program哲学
07-17 2万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
分布式任务调度XXL - JOB面试题及参考答案
大模型大数据攻城狮的专栏
10-31 1439
XXL - JOB 还支持自定义执行器，这为开发人员提供了高度的灵活性。功能原理：开发人员可以根据自己的特殊需求，通过实现 XXL - JOB 规定的执行器接口来创建自定义执行器。例如，如果业务系统需要与某种特殊的硬件设备进行交互来完成任务，或者需要使用特定的第三方库来处理任务，就可以通过自定义执行器来实现。自定义执行器需要遵循 XXL - JOB 的通信协议和任务执行规范，以便与调度中心进行有效的交互。适用场景。
这980道JAVA面试题，刷完50%妥妥的也能上岸
uuqaz的博客
05-23 1616
前言 本人20年毕业于一所普通本科，实习的时候也就想着混一张毕业证，也没做什么实际项目，再加上去年就业形式严峻，行业内卷，索性就选择了一家小企业公司，直到后来来才知道是属于外包。（也太惨 想想算了，谁让自己菜，还是先好好学点技术吧，但是工作起来就是日复一日的CRUD，没有996的工资，同样逃不过996的命，这时候联系了一个同毕业的同学，大概意思就是：哎，自己过得也不好，虽然在华为工资高，但是天天赶项目，妥妥的凡尔赛！ 也许是被刺激到了，想着今年金九银十一定要跳槽，进大厂！然后就联系了之前一起打篮球玩的
这1000道JAVA面试题，刷完50%妥妥的也能上岸
mt77666的博客
03-15 513
前言 本人20年毕业于一所普通本科，实习的时候也就想着混一张毕业证，也没做什么实际项目，再加上去年就业形式严峻，行业内卷，索性就选择了一家小企业公司，直到后来来才知道是属于外包。（也太惨了！耳边回想起老师说的话：千万别去外包） 想想算了，谁让自己菜，还是先好好学点技术吧，但是工作起来就是日复一日的CRUD，没有996的工资，同样逃不过996的命，这时候联系了一个同毕业的同学，大概意思就是：哎，自己过得也不好，虽然在华为工资高，但是天天赶项目，妥妥的凡尔赛！ 也许是被刺激到了，想着今年金九银十一定要跳槽，进
Java 基础面试题——常见类
代码星辰的博客
02-17 2520
本文记录了 Java 中常见类的相关面试题。
普通本科毕业一年，刷完这1000道JAVA面试题，成功逆袭上岸
热门推荐
weixin_51702416的博客
09-16 3万+
前言 本人20年毕业于一所普通本科，实习的时候也就想着混一张毕业证，也没做什么实际项目，再加上去年就业形式严峻，行业内卷，索性就选择了一家小企业公司，直到后来来才知道是属于外包。（也太惨了！耳边回想起老师说的话：千万别去外包） 想想算了，谁让自己菜，还是先好好学点技术吧，但是工作起来就是日复一日的CRUD，没有996的工资，同样逃不过996的命，这时候联系了一个同毕业的同学，大概意思就是：哎，自己过得也不好，虽然在华为工资高，但是天天赶项目，妥妥的凡尔赛！ 也许是被刺激到了，想着今年金九银十一定要跳槽，进
2025测试开发面试题完整版本（附答案）
2301_80119579的博客
02-12 811
软件测试线程安全问题。
2024测试开发常见面试题
2301_79535733的博客
08-08 871
软件测试就是验证产品特性是否符合用户需求, 软件测试贯穿于软件的整个生命周期.>>>那软件测试具体是什么呢?第一步: 我们会走进门店, 看看衣服的外观好不好看, 进行外观测试；第二步 : 我们会摸一下衣服的材质如何, 看看衣服是纯棉的, 还是涤纶的, 进行材质测试；第三步 : 我们会将衣服拿到试衣间试穿一下, 看是否合身, 进行试穿测试；第四步 : 我们会询问服务人员衣服的价格如何, 看看是否符合自己的预期；如果上述步骤都符合自己的需求, 那么才会有后续的交易完成。>>>
“秒杀”面试官，你只差这10道Python面试题
qq_44762698的博客
04-19 2060
古木阴中系短篷， 杖藜扶我过桥东。 沾衣欲湿杏花雨， 吹面不寒杨柳风。 哈罗大家好， 我是Python的新员工干货狗。 没错！ 就是狂拽帅气吊炸天、 人见人爱、花见花开、 专门推荐各种技术干货的那种。 大家可以叫我狗哥！ 据说看完我推荐的东西， 技术能力都会增长好几倍。 什么？你说我吹牛？ 这年头，给自己加点戏怎么了？ 啊？你们不喜欢吹牛B风格啊？ 那好，我低调点。 初到此地，小弟还在熟悉环境...
阿里大数据面试题集锦及参考答案(3万字长文：持续更新)
大模型大数据攻城狮的专栏
07-18 4032
在Java 8之前，接口中的方法只能是抽象的，即只有方法签名而没有实现。但从Java 8开始，引入了默认方法（default methods）和静态方法（static methods），使得接口可以包含具体的实现。默认方法使用default关键字定义，允许接口中的方法有一个默认实现，这样实现接口的类可以选择性地覆盖这些方法。静态方法则与类中的静态方法相似，它们不属于任何接口实例，而是属于接口本身，主要用于提供工具方法或常量。
做了3年Java，靠着这份面试题跟答案，我从15K变成了40K
程序员干货站
05-25 1467
在博主认为，对于Java面试以及进阶的最佳学习方法莫过于刷题+博客+书籍+总结，前三者博主将淋漓尽致地挥毫于这篇博客文章中，至于总结在于个人，实际上越到后面你会发现面试并不难，其次就是在刷题的过程中有没有去思考，刷题只是次之，这又是一个层次了，这里暂时不提后面再谈。 博主总结了一系列大厂面试中常问的面试技术点，深入解析以及答案，将为最近准备面试的各开发者去大厂保驾护航， 何谓面试？ 博主所理解的面试，它是一个过程，是不断沉淀、不断总结、善于传达自己的专业领域技术以及解决问题能力的过程。以下是博主总结的一些面
从 “人工标注” 到 “AI 驱动”：数据分类分级技术的效率革命
KKKlucifer的博客
12-11 320
在数据安全与合规治理常态化的今天，数据分类分级已成为企业筑牢数据安全防线的 “第一道关口”。传统人工标注模式下，企业需投入大量人力梳理海量数据，不仅耗时耗力、成本高昂，还存在标注标准不统一、遗漏率高、难以适配动态业务场景等痛点。随着 AI 技术与数据治理的深度融合，正掀起一场效率革命，实现从 “人治” 到 “智治” 的跨越，为企业数据安全治理注入全新动能。
java高并发高可用场景解决方案
Liaka的博客
12-10 812
相信大部人初级开发跟我一样，平时接触不到什么高并发场景，虽然也能花心思做，但总是受困于杀鸡用牛刀或工资配不上努力或没时间等。故本人整理一份分场景的高并发解决方案，也会包括高可用场景。
windows10 上安装 elasticsearch
最新发布
恒
12-11 509
注意到配置 kibana 访问 ES 采用的是 kibana_system 账号，而不能是 elastic 账号。kibana_system 是 ES 自动设置的服务于kibana 的账号。Kibana是Elasticsearch的可视化管理工具 —— ELK 的 K。假设 ES 集群名：sqldam ，可以支持单节点实例和多节点实例。你可以部署为单机单节点，单机多节点，多机多节点。安装最新的 es 和 kibana。Windows 上目录配置项使用的 “/” 或 “” 都不是随意的，请严格按照本文设置。
分布式锁实现方案Redis和Zookeeper对比实战
在代码的世界里，每天进步1%
12-06 1096
方案推荐场景学习原理Redisson生产环境首选强一致性要求互斥性：同一时刻只有一个客户端持有锁防死锁：客户端崩溃锁能自动释放可重入：同一线程可多次获取高可用：锁服务不能单点故障有问题评论区交流~
scala 介绍
2501_94155965的博客
12-11 841
Scala（Scalable Language，可扩展语言）是一门，由瑞士洛桑联邦理工学院（EPFL）的 Martin Odersky 于 2001 年设计，核心目标是融合和的优势，同时兼顾代码的简洁性、可扩展性和高性能，广泛应用于大数据、后端开发、分布式系统等领域。
RabbitMQ 完全指南
u011265143的专栏
12-08 1081
深入解析 RabbitMQ 的底层原理、数据存储、数据结构、作用与使用
大数据分析与应用:从业务痛点到落地实战的全流程解析
2401_89845953的博客
12-06 640
本文以电商用户流失预测为实战场景，完整呈现大数据分析 “需求拆解 - 数据处理 - 模型构建 - 业务落地” 全流程。通过 Spark+Pandas 混合方案处理 1.2 亿条行为日志等多源数据，构建随机森林模型识别流失用户，AUC 达 0.892。结合特征重要性分析，设计高、中、低价值用户三级召回策略，落地后使平台流失率下降 8.3%，GMV 增长 120 万元。文中附可运行代码与全流程思维导图，强调数据治理、模型可解释性及闭环迭代的重要性，突出 “用数据解决业务问题” 的核心逻辑。
Spark SQL 深度优化实战指南：从原理到生产的完整方法论
云祁QI
12-10 842
哈喽，我是云祁，好久不见～ 今天和大家聊聊 Spark SQL 优化，结合深度扩展的经验，增加了原理剖析、生产实践案例、性能对比数据和系统化诊断方法。错误 3：org.apache.spark.shuffle.FetchFailedException。：某电商公司的日志分析任务，数据量从凌晨的 100GB 到晚上的 2TB 波动巨大。：Spark SQL 的优化不再是简单的"调参游戏"，而是需要理解。：某互联网公司的用户行为分析，两张 10TB 的表 Join。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一凡888

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值