解决冲突文件 hadoop 和druid

druid-0.21.1 搭建及使用 基于CDH6.3.2 官网下载最新版包 官网说明:https://druid.apache.org/docs/latest/tutorials/cluster.html 准备3台服务器。master、data、query各一台 安装包目录结构: 修改common配置文件 vim conf/druid/cluster/_common/common.runtime.properties druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-s 阅读详情

object[io.druid.query.lookup.LookupResourceListenerAnnouncer@4ee8a7].
2018-04-18T13:00:18,350 INFO [main] io.druid.server.listener.announcer.ListenerResourceAnnouncer - Announcing start time on [/druid/listeners/lookups/__default/http:centoshostnameKL1:8100]
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/wangshumin/druid/druid-0.12.0/lib/log4j-slf4j-impl-2.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/wangshumin/druid/druid-0.12.0/hadoop-dependencies/hadoop-client/2.4.1/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
2018-04-18 13:00:20,376 task-runner-0-priority-0 WARN JNDI lookup class is not available because this JRE does not support JNDI. JNDI string lookups will not be available, continuing configuration. java.lang.ClassCastException: Cannot cast org.apache.logging.log4j.core.lookup.JndiLookup to org.apache.logging.log4j.core.lookup.StrLookup
	at java.lang.Class.cast(Class.java:3369)
	at org.apache.logging.log4j.util



[BEGIN] 2018/4/18 23:05:59

cp ./druid/druid-0.12.0/lib/jersey-guice-1.19.3.jar  ./app/hadoop-2.4.1/share/hadoop/yarn/lib/
find  -name "*guice*"
./druid/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-servlet-4.0.jar
./druid/tranquility-distribution-0.8.2/lib/com.google.inject.guice-4.0.jar
./druid/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-multibindings-4.0.jar
./druid/tranquility-distribution-0.8.2/lib/com.sun.jersey.contribs.jersey-guice-1.19.jar
./druid/druid-0.12.0/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-servlet-4.0.jar
./druid/druid-0.12.0/tranquility-distribution-0.8.2/lib/com.google.inject.guice-4.0.jar
./druid/druid-0.12.0/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-multibindings-4.0.jar
./druid/druid-0.12.0/tranquility-distribution-0.8.2/lib/com.sun.jersey.contribs.jersey-guice-1.19.jar
./druid/druid-0.12.0/extensions/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-servlet-4.0.jar
./druid/druid-0.12.0/extensions/tranquility-distribution-0.8.2/lib/com.google.inject.guice-4.0.jar
./druid/druid-0.12.0/extensions/tranquility-distribution-0.8.2/lib/com.google.inject.extensions.guice-multibindings-4.0.jar
./druid/druid-0.12.0/extensions/tranquility-distribution-0.8.2/lib/com.sun.jersey.contribs.jersey-guice-1.19.jar
./druid/druid-0.12.0/lib/guice-4.1.0.jar
./druid/druid-0.12.0/lib/jersey-guice-1.19.3.jar
./druid/druid-0.12.0/lib/guice-servlet-4.1.0.jar
./druid/druid-0.12.0/lib/guice-multibindings-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/mapreduce/lib/guice-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/mapreduce/lib/jersey-guice-1.19.3.jar
./app/hadoop-2.4.1/share/hadoop/mapreduce/lib/guice-servlet-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/mapreduce/lib/guice-multibindings-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/yarn/lib/guice-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/yarn/lib/jersey-guice-1.19.3.jar
./app/hadoop-2.4.1/share/hadoop/yarn/lib/guice-servlet-4.1.0.jar
./app/hadoop-2.4.1/share/hadoop/yarn/lib/guice-multibindings-4.1.0.jar

./app/hadoop-2.4.1/data/nm-local-dir/filecache/112/.tmp_guice-multibindings-4.1.0.jar.crc
./app/hadoop-2.4.1/data/nm-local-dir/filecache/112/guice-multibindings-4.1.0.jar
./app/hadoop-2.4.1/data/nm-local-dir/filecache/187/.tmp_guice-servlet-4.1.0.jar.crc
./app/hadoop-2.4.1/data/nm-local-dir/filecache/187/guice-servlet-4.1.0.jar
./app/hadoop-2.4.1/data/nm-local-dir/filecache/143/guice-4.1.0.jar
./app/hadoop-2.4.1/data/nm-local-dir/filecache/143/.tmp_guice-4.1.0.jar.crc
./app/hadoop-2.4.1/data/nm-local-dir/filecache/30/.tmp_jersey-guice-1.19.3.jar.crc
./app/hadoop-2.4.1/data/nm-local-dir/filecache/30/jersey-guice-1.19.3.jar
./hbase/hbase-1.2.1/lib/guice-servlet-3.0.jar
./hbase/hbase-1.2.1/lib/guice-3.0.jar
./hbase/hbase-1.2.1/lib/jersey-guice-1.9.jar
./ekl/logstash-2.3.1/vendor/bundle/jruby/1.9/gems/ruby-maven-libs-3.3.3/maven-home/lib/sisu-guice-3.2.5-no_aop.jar
[root@centoshostnameKL1 wangshumin]# 
Apache Druid通过Compact解决数据晚回和小文件 druid 0.17的Compaction 动态配置 关于段压缩的细节 在druid里,segment的大小至关重要,因为: 1.druid的数据存储在segment中,如果使用best-effort roll-up 模式,通过增加segment的大小使得数据进一步聚合,进而使得减小数据源的大小。 2.当提交一个查询请求,该请求会分发到持有查询segment的实时任务和历史任务上。每个进程和任务从自己的处理线程池中选择一个线程来处理单个段。如果segment太大,数据可能在数据服务器之间分布不好,从而降低了 阅读详情

相关推荐

VIL-SLAM论文翻译:Stereo Visual Inertial LiDAR Simultaneous Localization and Mapping

文章目录写在前面摘要1.引言2.相关工作3.系统概述4.视觉前端5.双目视觉惯性里程计A. IMU预积分因子B. 非结构化视觉因子C. 优化和边缘化6. 激光建图A. LiDAR扫描去畸变B. 帧到地图配准7. LiDAR增强的闭环A. 回环检测B. 回环约束C. 全局位姿图优化D. 重定位8. 实验结果A.平台和软件B.测试和结果C. EuRoCMAV数据集测试9.结论 写在前面 写作参考: robot L 开源代码: 开源代码链接 论文原文: 原文链接 摘要 SLAM是移动和空中机器人的一项基本任务

JaydenQ的博客 2323

关于JNDI配置以及运行报错详解

在介绍JNDI配置之前,先让我好好吐槽一下。先说说今天在Java社区里面逛,看到关于数据库连接池的技术已经发展到好几种了,还停留在dbcp技术的我也没脸说什么。得知现在Apache下的tomcat在7.0版本的时候已经推出了新的连接池技术-tomcatJDBC。      啥也没说,上手就开始干了。上网一搜tomcatJDBC的配置,一看一大把,瞬间心里各种感动啊。随便打开一个就跟着开始配置起来

jusse的博客 3706

新能源车主必看:用高德API+充电站数据制作跨城出行充电规划工具(附完整代码)

本文为新能源车主提供了一份详细的跨城出行充电规划工具构建指南。通过整合高德地图API与充电站数据,手把手教你使用Python开发一个智能规划系统,可自动规划路线并推荐沿途充电站,有效缓解里程焦虑。文章包含完整代码、核心算法解析及可视化实现,帮助车主实现个性化、高效的出行规划。

tgb3456789的博客 900

Thinking in Enterprise Java中编译例程Lookup.java相关问题java.lang.ClassNotFoundException和 Access denied

Thinking in Enterprise Java中: 编译例程c15:jdbc:Lookup.java的时候出现,相关问题 java.lang.ClassNotFoundException: sun.jdbc.odbc.JdbcOdbcDriver 显示jdbc访问ACCESS的方法已经过时,在新的版本中官方不再提供相应的方法。 遂改用jdbc访问mySQL进行替代。 即Class...

觀滄海 444

手把手教你学基于 Linux 的 NPU 固件开发-第 10 讲:可靠性设计(RAS)——让系统坚如磐石错误检测、纠正与上报机制(ECC、Parity)

组件推荐保护机制备注HBM/DDRScrubbing必须开启,定期巡检片上 SRAMECC(权重/激活值),Parity(指令)权衡面积与可靠性计算单元ABFT或DMR(关键路径)防止计算逻辑错误片上网络CRC重传保证数据传输完整性系统软件AER 上报CE 监控自动恢复闭环管理,杜绝 SDC运维策略预测性维护Checkpoint变被动为主动核心心法(信任硬件,但必须验证。在纳米尺度下,错误是必然发生的物理现象。

MHD0815的博客 92

基于3D相机的人体穴位识别与标注系统——完整Python实现方案

摘要 本文提出了一种基于3D相机的人体穴位识别与标注系统完整实现方案。系统采用Intel RealSense D435相机实时采集RGB-D数据,结合MediaPipe Pose模型进行人体33个关键骨骼点的三维姿态估计。通过建立穴位与骨骼关键点的映射关系,利用相机内参和深度信息将二维图像坐标转换为三维空间坐标。系统采用模块化设计,包含数据采集层、算法处理层、坐标转换层和可视化层,实现了穴位定位、三维坐标转换和点云可视化功能。关键技术包括:基于骨度折量法的穴位映射算法、深度图像到三维点云的转换方法,以及Op

AI的内部世界的博客 274

java asm jndi_SpringBoot使用tomcat启动提示JNDI异常

项目用的而是 SpringBoot+jdbc+mybatis+druid,使用logback作日志处理,整个项目测试完全没有问题,但当打war包放进tomcat里启动的时候,就会不停的提示JNDI的相关信息[DEBUG] [org.springframework.jndi.JndiTemplate:150] 172.24.100.58-startStop-1 - Looking up JNDI o...

weixin_31800911的博客 1033

NSIS教程(6): 使用第三方插件

NSIS内置了很多指令,这些指令可以满足我们基本需求,但难免会遇到NSIS没有内置的功能,如进程操作,后台运行(即多线程),7z压缩等等,这个时候我们就需要借助第三方插件来满足我们所需要的功能了。 一、插件获取 NSIS官方收录插件的网址是:http://nsis.sourceforge.net/Category:Plugins,我们可以在这个网站上查找和下载我们需要的插件,该网站上针对每

while(1) { smile(); } 9万+

配置JNDI(坑爹货)

自学servlet已经接近尾声,但这个玩意儿的配置真他妈的头疼(本人小白,花了我1天时间,于是写下以帮助有需要的人)1.本人配置 Myeclipse version 2017 C1 5 Tomcat version 8.5.9 项目未配置在Tomcat的webapp中,需映射 2.开始配置JNDI a.进入Tomcat配置文件夹:(我的是:)C:\User

大比利的博客 1090

多维时空数据介绍(4)多维栅格数据构建

上图中包含了经度、纬度和时间三个维度,其变量为经度、纬度、时间以及降雨量,对应的变量单位为东经多少度、北纬多少度、阳历1895-1-1日开始多少天以及每年降雨多少毫升,其中经度数值4个、纬度数值3个、时间数值2个都是一维的数据,而降雨量是一个包含经度、纬度、时间的三维数组,数值有4*3*2=24个。在GeoScene 中NetCDF数据可以用做多种多维时空数据的数据源,进行创建、可视化和分析,它可以是多维栅格数据、时空立方体,还可以是体元图层,区别在于其所要表示的内容和目的。变量又分为坐标变量和属性变量。

你好,我是小张同学! 1288

网页内容抓取的艺术:使用R语言解析动态网页

本文探讨了使用R语言处理动态网页数据的方法。针对AJAX加载的学术网站,传统的静态抓取和RSelenium方法存在会话终止、浏览器错误等问题。通过分析发现内容通过admin-ajax.php加载,提出使用httr2模拟POST请求获取数据,配合rvest解析HTML内容。该方法避免了浏览器自动化的弊端,实现了高效稳定的动态内容提取,为处理类似AJAX网站提供了通用解决方案。

m0_74337424的博客 55

java调用jndi出错,无法使用Java JNDI上下文查找来访问对象

我正在运行Tomcat6并希望从我的Servlet访问数据源。但我得到了javax.naming.OperationNotSupportedException: can''t generate an absolute name for this namespaceat org.apache.naming.NamingContext.getNameInNamespace(NamingContext....

weixin_34969621的博客 610

【LE Audio】CAP精讲[1]: 从理论到实操,CAP 协同流程入门全攻略

LEAudio生态中的CommonAudioProfile(CAP)是一个关键协同框架,它通过整合基础音频协议(BAP/VCP/MICP等)构建多设备协同能力。CAP定义了三大核心功能:音频流管理、设备组控制和统一交互服务,解决了传统蓝牙音频在多设备场景下的协同痛点。其规范历经v1.0到v1.0.1的优化,修正了角色定义、连接流程等关键模块,提升设备兼容性。CAP采用严格的语言约定(shall/must/should)和术语体系(ContextType/CCID/协同集),确保不同厂商设备能相互理解。

byte轻骑兵的技术小窝 2万+

Druid离线采用hadoopindex加载数据

核心: druid如果是离线数据可以采用Hadoopindex这种模式来做overload的操作。这样druid只需要启动查询节点和历史节点和协调节点就可以了。能节约很多资源。环境 : druid 0.10 Hadoop 2.6.5搭建: 配置和搭建集群没有什么区别,详细信息可以查看 http://blog.youkuaiyun.com/paicmis/article/details/72810951

Xlucas的博客 2490

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Druid集群导入hadoop数据问题

与hadoopjar包冲突 Druid java.lang.OutOfMemoryError: unable to create new native thread 解决方案参考:Working with different versions of Hadoop 调整Druid集群所在机器的u...

chuzai3906的博客 716

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

终极指南:解决Apache Druid扩展版本冲突的Maven依赖调解实战技巧

Apache Druid作为高性能实时分析数据库,其丰富的扩展生态系统是实现功能扩展的关键。然而,在集成多个扩展时,Maven依赖冲突常常成为开发者的痛点。本文将系统介绍如何识别、分析和解决Druid扩展开发中的版本冲突问题,帮助开发者快速掌握Maven依赖调解的核心技巧。 ## 为什么Apache Druid扩展容易出现依赖冲突? Apache Druid的模块化架构允许通过扩展实现功能增强

gitblog_00895的博客 821

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

druid.io出现的问题及解决方法

近期由于公司需要,研究了druid.io,下面是我遇到的一些问题以及解决办法,当做记录。 使用的druid.io版本为0.12.3 1、使用druid-hdfs-storage扩展将hdfs用于深度存储。使用Map / Reduce作业从hadoop批量加载数据。 公司已有的集群是CDH-5.10.1版本,该版本的cdh使用hadoop2.6.0,druid.io的0.12.3版本中自带的h...

youyoufusheng的博客 1435

Druid使用问题解决

与hadoopjar包冲突 Druid java.lang.OutOfMemoryError: unable to create new native thread 解决方案参考:Working with different versions of Hadoop 调整Druid集群所...

chuzai3906的博客 1122

druid 和 CDH关于hadoop版本不兼容问题

如果druid的hadoop版本和CDH带的版本不一致,则在MR,比如Hadoop-based Batch Ingestion则有可能报错,解决方法是: 在middle mgr runtime.properties 配置中加入如下信息: -Dhadoop.mapreduce.job.classloader=true -DHADOOP_USER_NAME=hdfs ...

大树叶 技术专栏 938

druid集群部署问题

一、问题描述 2016-03-09T15:01:54,938 ERROR [task-runner-0-priority-0] io.druid.indexing.overlord.ThreadPoolTaskRunner - Exception while running task[HadoopIndexTask{id=index_hadoop_wikipedia_2016-0

thinkhui的专栏 3269

druid集群的搭建

1、 启动zookeeper      下载zookeeper安装包,解压、安装      bin/zkServer.sh start 2、 修改druid配置文件 (1)      conf/druid/_common/common.runtime.properties             a、修改zookeeper列表                           b

suphieLiang的博客 4003

快手 Druid 精确去重的设计和实现

原文地址https://toutiao.io/posts/9pgmav/preview 分享嘉宾:邓钫元 快手大数据 编辑整理:王吉东 内容来源:Druid中国用户组 MeetUp 6th 出品社区:DataFun 注:欢迎转载,转载请注明出处 本次分享内容提纲: 快手 Druid 平台概览 Druid 精确去重功能设计 Druid 其他改进 ...

千淘万漉 5239

Druid.io系列(六):问题总结

Druid问题总结

njpjsoftdev的博客 1万+

spark怎么调用hadoop_Re: Druid背后的Lambda架构,Spark周边的误解etc

在后台大家经常留言问Spark和Druid哪家强,我个人觉得这很能代表许多新手的误解,我特意聊聊,在2018最后的一天,也算是纪念。Spark和Druid哪家强?首先,我觉得这个问题提的就不对,因为这两个项目所关注的点不一样。我在以前的文章就提过:Spark不是数据库,是计算引擎,解决数据的处理问题;Druid是预计算存储的时序数据库,解决数据的快速查询问题。前者是处理,后者是查询。两者互补。Da...

weixin_39640372的博客 134

druid常见问题

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33858249的博客 1191

Druid.io系列6:问题总结

我们在生产环境中使用Druid也遇到了很多问题,通过阅读官网文档、源码以及社区提问解决或部分解决了很多问题,现将遇到的问题、解决方案以及调优经验总结如下:问题一:Hadoop batch ingestion失败,日志错误为“No buckets?…“解决方案:这个问题当初困扰了我们大概一周的时间,对于大部分刚接触Druid人来说基本都会遇到时区问题。其实问题很简单,主要在于集群工作时区与导入数据时...

大树叶 技术专栏 1956
上一篇: 日志jar包冲突报错:Class path contains multiple SLF4J bindings
下一篇: apache-spark org.apache.spark.rpc.RpcTimeoutException: Cannot receive any reply in 120
王树民
博客等级 码龄10年 912粉丝 560原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值