LoadDruidSegmentStep failed File does not exist: /druid/segments

最新推荐文章于 2022-05-24 15:40:31 发布
最新推荐文章于 2022-05-24 15:40:31 发布
阅读量978 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据-KyLin(麒麟)
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/90045948

1. 背景

在这里插入图片描述
做kylin on druid 执行到
在这里插入图片描述
报错，错误如下

cube: druid_cube, segment: c96d5afd-dc13-8eb1-a6b6-ecd52b7b9a6d
LoadDruidSegmentStep failed File does not exist: /druid/segments/druid_cube_0/c96d5afd-dc13-8eb1-a6b6-ecd52b7b9a6d/0-descriptor
	at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:66)
	at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:56
了解本专栏 订阅专栏 解锁全文
File does not exist: /user/anonymous/.staging/job_1628851608378_6064/报错问题解决
石榴姐yyds
08-16 1982
user/admin/.staging/job_1571397171638_0001/job_1571397171638_0001_1.jhist 所以为什么没有下发，这里面jhist，只是被引发的错误，它还不是根本的错误。看到上面错误，我们就可以判断，这是网络问题，然而网络无非是ip地址，防火墙，端口，hosts等。我们正常的hosts是这样的。在回头复盘想想，我们找不到jhist，跟我们的网络问题二者是很难找到关联的，所以大家在遇到问题的时候，一定多排查和思考，而不是看到一个错误，就以为是它的问题。
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog
zhengzaifeidelushang的博客
11-09 3707
Spark启动报错：java.io.FileNotFoundException: File does not exist: hdfs://bigdata1:8020/sparklog 启动Spark报错是因为HDFS上没有sparklog目录，在HDFS上新建立sparklog目录后，在启动Spark就能正常启动。 一、Spark开启日志聚合功能，将Spark应用程序的运行信息写入指定目录hdfs://bigdata1:8020/sparklog vim /moudle/spark-3.0.1/conf/s
druid Transaction failure publishing segments, aborting
weixin_34101784的博客
02-26 433
2019独角兽企业重金招聘Python工程师标准>>> ...
Druid源码解析之HDFS存储
小龙的博客
04-23 1467
Druid自身为各种外围功能定义了很多接口，比如存储就定义了：DataSegmentArchiver：用于对segment文件进行archive与restore，可用在s3之类的存储上，将暂时不用的segment放入到别的bucket中。DataSegmentFinder：用于在特定的目录下查找Druid segment，有时会根据正确的loadSpec更新deep storage上所有的desc...
Druid.io数据存储(segment文件)与特点
master-dragon的专栏
10-11 898
druid.io查询快？为什么快？怎么存？怎么写入？怎么查的？等等问题 segment文件 关于druid.io存储的底层segment文件格式可以参考：作者: 康凯森的Druid Storage 原理，写的挺不错的，不过最好还是自己去分析segment二进制文件，这样理解更深入，而这种存储方案说不定哪天我们就有借鉴意义。我补充如下，并回顾下自己的学习，感性认识下：列存储，倒排索引等概念 Segment由dataSource_beginTime_endTime_version_shardNumber唯一标
Apache Druid 中文翻译 - 段（Segments）
小程序员的大梦想
03-30 857
Segments Apache Druid将其索引存储在段文件中，该段文件按时间进行分区。在基本设置中，将为每个时间间隔创建一个段文件，其中时间间隔可在granularitySpec参数中配置segmentGranularity。为了使Druid在繁重的查询负载下正常运行，将段文件的大小裴志伟建议的300MB-700MB范围内很重要。如果你的段文件超过该范围，然后再考虑要么改变时间间隔（ti...
Druid源码解析之Segment
小龙的博客
04-24 2628
上篇我们介绍了Druid的Column相关实现原理，本次介绍Segment的实现原理。Column在Druid中用于管理单列，Segment则用于管理一组列。这组列包括了Dimension和Metric。我们首先看下Segment的定义接口：public interface Segment extends Closeable { public String getIdentifier(); ...
java.io.FileNotFoundException: File does not exist: hdfs://xxx
weixin_44500374的博客
01-27 8676
一、产生问题背景 我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错： Caused by: org.apache.flink.yarn.YarnClusterDescriptor$YarnDeploymentException: The YARN application unexpectedly switched to state FAILED during deployment. Diagnostics from YARN: Application appl
java.lang.IllegalStateException: Directory does not exist: /export/data/flume/dir
红叶的博客
12-01 1666
运行flume 报错 报错信息： 2020-11-15 19:40:33,894 (lifecycleSupervisor-1-3) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner: { source:Spool Directory source r1: { spo
apache 错误日志 File does not exist: 解决办法
weixin_33794672的博客
02-26 550
要养成定期查看日志的习惯！ 查看apache日志发现： 错误日志 File does not exist: File does not exist: /opt/htdocs/resource/favicon.ico File does not exist: /opt/htdocs/resource/404.html File does not exist: /opt...
Python调用ddddocr打包不成功或打开后报错ddddocr\common.onnx failed. File doesn‘t exist解决办法
张晨曦 的 博客
05-24 7461
Python调用ddddocr打包不成功或打开后报错ddddocr\common.onnx failed. File doesn't exist解决办法
alter table add partition ... location ...语法
热门推荐
攻城狮Kevin
06-21 2万+
目录 结论 建表语句 create table `wxtest`( `groupId` string, `uuid` string, `userId` string, `dt_index` string) partitioned by( `dt` string, `projId` string) row format delimited fields terminated by '\t';...
xposed框架集成跟遇到的几个坑
u013171212的博客
02-14 1874
1 引入 jar 包  XposedBridgeApi-82.jar 引入 jar 包有个巨坑 ：  我们新建项目的时候是自动生成下面的代码 compile fileTree(include: ['*.jar'], dir: 'libs') 该代码作用是自动引用 libs 文件夹下的所有 jar 包的，我们集成 xposed 框架的时候这行一定要删除！！！！！！！切记 如果这行没删除 ...
表分区问题 ORA-02149: Specified partition does not exist
大胜哥的专栏
10-26 2万+
1. 第一次接触表分区，做了些练习，遇到一个超级恶心的问题。 --查看某个表的表分区 select TABLESPACE_NAME,partition_name, High_value from user_tab_partitions where  table_name='TEST'; --表分区定义 select dbms_metadata.get_ddl('TABLE','
Druid.IO原理之索引文件Segment详解
greensea669的博客
03-15 1875
Druid按时间分区以后，将索引信息存储在segment文件里面。在基础的配置安装里，每个segment对应一个时间区间（时间区间定义参考granularitySpec中的segmentGranularity参数：url链接）。为了在高负载的情况下提供良好的响应性能，强烈推荐segment的大小限制在推荐值区间（300mb-700mb），如果你的segment文件大小超过这个区间，可以考虑改变时...
No lease on /目录: File does not exist. [Lease. Holder: DFSClient_NONMAPREDUCE_-2059237550_1, pending...
weixin_34037515的博客
04-02 1662
　　感觉程序员的世界真是一个变幻无常且精彩绝伦的世界，每次跑程序都会发现不一样的问题。今天跑MapReduce程序来统计邮箱次数时遇到了一个问题，明明一样的代码，别人能跑，我却跑不了。我相信，基本做这行的都遇到过这种问题。好了，话不多说，来聊聊今天的错误吧。 　　根据日志查看到报的错误为：No lease on /目录: File does not exist. [Lease. Holder:...
Xposed框架分析
成长中的蒲公英
07-14 1万+
1. 概述 1.1 什么是hook hook本质就是劫持函数调用，但由于处于linux用户态，每个进程都有自己独立的进程空间，所以必须先注入到所要hook的进程空间，修改其内存中的进程代码，替换其过程表的符号地址。 Android中一般通过ptrace函数附加进程，然后向远程进程注入so库，从而达到监控以及远程进程关键函数挂钩。 Hook的难点在于寻找函数的入口点、替换函数，这就涉及到...
java.io.FileNotFoundException: File does not exist: /testFile/test.txt
最新发布
10-19
当你试图在Java程序中通过`java.io.File`类打开一个名为`/testFile/test.txt`的文件时，如果系统找不到这个文件，就会抛出`FileNotFoundException`异常。这个错误表明文件不存在于指定的路径下。这通常发生在以下几个情况： 1. 文件路径本身有误，可能是大小写不敏感的操作系统中文件名的拼写错误，或者是文件实际存储的位置与预期不符。 2. 文件可能还没有创建，或者是在程序运行期间被删除了。 3. 文件权限不足，如果你当前的用户或进程没有权限访问该文件。 处理这种情况，你需要检查文件路径是否正确，并确保程序有足够的权限读取文件。如果文件是动态生成的，需要添加适当的逻辑来确认文件是否存在后再尝试打开。例如： ```java try { File file = new File("/testFile/test.txt"); if (!file.exists()) { System.out.println("File not found, please check the path."); } else { // 打开文件操作... } } catch (FileNotFoundException e) { e.printStackTrace(); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值