[simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed:

最新推荐文章于 2022-09-26 16:10:05 发布
转载 最新推荐文章于 2022-09-26 16:10:05 发布 · 1.1k 阅读 · 0

本文介绍了一个关于Druid中KafkaSupervisorTuningConfig配置出现的问题：因/tmp目录未创建而导致的异常。该文提供了详细的错误信息，并给出了创建/tmp目录作为解决方案。

[simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed: 

原

翱

  翱翔fly 发布于 2017/10/18 17:57 

字数 54

 

阅读 27

 

收藏 0

 

点赞 0

 

 评论 0

SupervisorKafkaSupervisorTuninwithin 10000 attemptDruid

十年阿里，就只剩下这套Java开发体系了 >>>   

"error": "Instantiation of [simple type, class io.druid.indexing.kafka.supervisor.KafkaSupervisorTuningConfig] value failed: Failed to create directory within 10000 attempts (tried 1508304116732-0 to 1508304116732-9999)"
 

此异常是由于 var/ 未创建tmp目录导致

创建目录 tmp

【Druid IO】Instantiation of [simple type, class druid.indexing.kafka.supervisor.KafkaSupervisorTunin
九师兄
03-15 1325
做一个从kafka导入到Druid的案例，json格式如下 { "type": "kafka", "dataSchema": { "dataSource": "wikipedia_kafak", "parser": { "type": "string", "parseSpec": {
Druid kafka-index supervisor启动流程分析
Vision
12-10 2125
前言 在维护druid服务的过程中，我们的物化视图的supervisor状态总是发生异常，通过日志以及MR程序的情况来看，目前猜测是因为yarn资源问题导致的这一现状。虽然现在通过脚本监控的形式来保证物化视图supervisor异常时重新拉起而不会产生物化视图延迟（尤其是晚上发生异常）。但是不能明确为什么supervisor的执行流程。因此本着探究supervisor的心态，因为kafka-index supervisor比较成熟且经典，于是先研究下kafka-index supervisor先熟..
Druid 加载 Kafka 流数据 KafkaSupervisorIOConfig 配置信息表
HONEY MOOSE
08-10 411
可用的字段和配置信息，请参考表格。 需要注意的是配置的段的定义为为：ioConfig 字段（Field） 类型（Type） 描述（Description） 是否必须（Required） topic String 从 Kafka 中读取数据的 主题（topic）名。你必须要指定一个明确的 topic。例如 topic patterns 还不能被支持。 Y inputFormat Object inputFormat被指定如何来解析处理数据。请参考..
Druid 加载 Kafka 数据时直接提交一个 supervisor
HONEY MOOSE
08-07 359
为了能够直接启动一个服务，我们需要提交一个 supervisor 配置参数到 Druid overlord 进程中，你可以直接通过 Druid 的包运行下面的命令： curl -XPOST -H'Content-Type: application/json' -d @quickstart/tutorial/wikipedia-kafka-supervisor.json http://localhost:8081/druid/indexer/v1/supervisor 如果提交的 supe
OLAP分析引擎Druid配置文件详解（四）：Overlord配置文件
gan785160627的博客
05-24 1118
本文是Druid配置文件系列博文的第四篇，我们将继续逐个介绍Druid的五大组件，前文已经介绍了Coordinator组件的配置文件，本文是第二个组件Overlord的介绍。
druid接入kafka indexing service整个流程
千淘万漉
05-23 3479
先介绍下我们的druid集群配置 Overload 1台 Coordinator 1台 Middle manager 3台 Broker 3台 Historical一共12台，其中cold 6台，hot 6台 druid版本：0.10, 0.9之后即可支持Kafka indexing service 目前的druid主要用来做批量灌入，包括天级，小时级，五分钟级 由于这个五分...
Druid Kafka索引服务的Task动态伸缩
weixin_38736107的博客
08-05 1540
一、Kafka Indexing Service 运行原理 1、简介 Kafka Indexing Service 是 Druid 推出的利用 Druid 的索引服务实时消费 Kafka 数据的插件。该插件会在 Overlord 中启动一个 supervisor，supervisor 启动之后会负责创建task、调度task到Middlemanager中运行，并管理监控整个task...
Druid Kafka indexing task停不下来，不进行Handoff
yxx1173的博客
12-28 2392
问题描述：Kafka indexing task，过了taskDuration仍在运行、ingest实时数据，不生成segments，导致coordinator console中最近的segments都是0B（即没有生成segments，数据都在middlemanager上）。 原因分析： 1).  默认配置中supervisor的workerThreads(default == mi
Druid 加载 Kafka 流数据的性能配置参数 TuningConfig
HONEY MOOSE
08-12 362
tuningConfig 的配置是可选的，如果你不在这里对这个参数进行配置的话，Druid 将会使用默认的配置来替代。 字段（Field） 类型（Type） 描述（Description） 是否必须（Required） type String 索引任务类型， 总是 kafka。 Y maxRowsInMemory Integer 在持久化之前在内存中聚合的最大行数。该数值为聚合之后的行数，所以它不等于原始输入事件的行数，而是事件被聚合后的
oracle 使用springboot框架查询出来的rowid是一个byte数组 出现 No serializer found for class java.io.ByteArrayInputStre
u012497072的博客
12-15 5526
Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.http.converter.HttpMessageConversionException: Type definition error: [simple type, class java.io.
Java.io.ByteArrayInputStream类
wuxiaopengnihao1的博客
01-20 1846
java.io.ByteArrayInputStream类包含包含可从流中读取的字节的内部缓冲器。内部计数器保持下一个字节的读法提供的轨道。以下是关于ByteArrayInputStream类重要的几点： 关闭ByteArrayInputStream类没有任何效果。 在这个类中的方法可以在流已关闭后，而被调用不会产生一个IOException。 更多教程请访问http://www.manongzj.com 类的声明 以下是java.io.ByteArrayInputStr..
@FeignClient 上传文件时报错 解决方案
只有变秃 才能变强
02-28 2951
Feign 作为 Spring Cloud 中 RPC 工具，利用注解来描述接口，简化了 Java HTTP Client 的调用过程。但是在文件上传时，我们需要做一些额外的配置，不然会调用异常。 背景 我有一个服务 A，里面有个接口，需要接受上传的文件和一些参数， @PostMapping({"/validityPeriod/update"}) BizResponse proofValidityPeriodUpdate(@Validated ValidityPeriodUpdateRequest
使用 supervisor 来管理 kafka进程
钚该钚想
04-22 956
由于在 cli 模式下启动，停止 kafka 和zookpeer 进程命令行比较繁琐，所以推荐使用supervisor 来对进程进行管理。 安装： centos 使用 yum 进行supervisor 安装，其他系统根据自己安装方式。 启动命令：systemctl start supervisord 查找supervisord.conf 的安装位置,使用find / -name supervis...
使用supervisor运行kafka和zookeeper提示找不到java
nochunge的博客
09-26 1223
supervisor运行进程获取不到环境变量的一个解决方法
springboot使用过程中出现Type definition error: [simple type, class Xxx nested exception is ... jackson...
热门推荐
Bab的博客
11-22 4万+
org.springframework.http.converter.HttpMessageConversionException: Type definition error: [simple type, class xyz.newtouch.xxx.service.xxx.entity.form.Xxxx]; nested exception is com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer f
type: com.alibaba.druid.pool.DruidDataSource爆红
最新发布
12-26
根据提供的引用内容，当类型为`com.alibaba.druid.pool.DruidDataSource`出现红色警告时，可以尝试将`client-adapter.es7x-1.1.5-jar-with-dependencies.jar`替换`plugin`目录下的jar文件来解决该问题。请确保替换的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值