druid 和 CDH关于hadoop版本不兼容问题

最新推荐文章于 2021-10-17 20:19:57 发布
原创 最新推荐文章于 2021-10-17 20:19:57 发布 · 920 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#druid #hadoop

本文介绍了解决Druid与Hadoop版本不一致导致的MapReduce任务错误的方法。通过在middlemgr运行配置文件中设置特定参数，可以确保使用正确的Hadoop版本，避免因版本差异引发的问题。

如果druid的hadoop版本和CDH带的版本不一致，则在MR，比如Hadoop-based Batch Ingestion则有可能报错，解决方法是：

在middle mgr runtime.properties 配置中加入如下信息：

 -Dhadoop.mapreduce.job.classloader=true -DHADOOP_USER_NAME=hdfs 

 

hadoop集群版本兼容问题
QYmufeng的博客
08-14 1162
选择自己要下载的hadoop版本，以及对应的cdh5的办版本，然后其它组件全部选择cdh5对应的版本即可 集群组件cdh5下载地址：https://archive.cloudera.com/cdh5/ 官方下载地址：http://archive.apache.org/dist/ 比如我选择的是hadoo版本是hadoop-2.5.0并且cdh5的版本选择的是cdh5.3.6，那么其...
大数据各组件搭建，版本冲突问题解决方案
weixin_43211373的博客
09-15 1817
最近由于搭建hadoop、flink、kafka的环境，需要做一整套大数据的方案。 分别取相应的官网上查看几个组件的最新情况。 hadoop选用CDH，目前最新版本为CDH6.0.0 对应的hbase、hive、spark等组件的版本如下： 组件 版本 发行版 CDH 版本 Supervisord 3.0 不可用 不适用 ...
duird.io 支持不同版本的 hadoop
忘掉地平线
10-18 979
duird.io 支持不同版本的 hadoop
Druid：Druid.io 部署&使用文档
辉哥大数据
12-23 1万+
参考：http://lxw1234.com/archives/2015/11/554.htm 海量数据实时OLAP分析系统-Druid.io安装配置和体验 http://druid.io/docs/0.9.2/design/design.html Druid官网搭建Druid.io 部署&使用文档1.集群模式下部署 Prerequisites : Java 7 or higher & Z
hadoop cdh版本不一致报错问题
weixin_44175698的博客
09-01 676
如果在执行hadoop相关任务报如下类似错误 说明 项目的pom依赖中的3.0.0-cdh6.3.1版本的hadoop与集群所用的hadoop版本不一致，此时我们需要将项目中的pom修改，将hadoop依赖版本改为与集群上cdh版本一致的hadoop版本即可,然后重新打包部署即可 java版本不一致 在执行java程序时，报如下错误，即 Unsupported major.minor version 52.0 这种错误显然时java版本差距过大，可通过查看运行主机的java版本,然后更换更新的(我就遇到过
druid集群搭建
04-09 479
一、基础环境 cdh5.14.0 Hadoop 2.6.0+cdh5.14.0+2715 HDFS 2.6.0+cdh5.14.0+2715 ZooKeep...
Druid评测
Harper
05-26 4568
Druid 评测最近组里申请了三台机器对Druid进行测试，这里记录一下过程，并对Druid的表现做一下评测环境三台机器 - 磁盘：SATA盘 4T - CPU：24核 - 内存：128G - 系统：Red Hat Enterprise Linux 7.3 - Zookeeper、HDFS、MySQL都用的已有的环境三台机器名称用 t214、t218、t219代替.
cdh6.2.1+flink1.9+druid1.8搭建实践
weixin_40809627的博客
05-13 1109
1、CDH版本调研和相应依赖整理 综述 一般组件版本管理工具包含两种方式，第一种ambari 第二种为cloudra 两种各有优缺点，但立足公司实际情况，需要一种相对来说，比较稳定，并且易于管理监控更加方便，一般不用二次开发的集群。并且cloudera相对ambari市场占有率比较大解决方案相对比较成熟。因此决定采用cloudera manager 去监控管理公司的集群。 版本选择 Clouder...
解决冲突文件 hadoop 和druid
大JAVA解决方案
04-18 2812
object[io.druid.query.lookup.LookupResourceListenerAnnouncer@4ee8a7]. 2018-04-18T13:00:18,350 INFO [main] io.druid.server.listener.announcer.ListenerResourceAnnouncer - Announcing start time on [/drui...
cdh5-6-Hive版本之间不兼容特性
10-16
cdh5和cdh6，Hive版本之间不兼容的特性。要做升级的朋友可以看看，主要是union和union all
hadoop版本兼容问题
司念
10-15 1801
测试环境使用的是hadoop2.2.0   线上环境1.0.3    编写程序如下：
初学者有关Hadoop版本选择的考虑
热门推荐
Jason的专栏
07-23 1万+
前言：      刚开始学习Hadoop时就曾经一直抱怨Hadoop的安装部署为什么这么麻烦，对于一个新手需要捯饬一天才能把分布式环境安装配置好。而对于一个自学Hadoop而周围又没人交流的菜鸟来说，对版本的选择还是比较重要，Hadoop除了Apache这个版本，还有许多第三方的版本，而且已经很好地解决了Hadoop部署管理复杂的问题。为了后来者少走弯路在此记录一下，也给新人提个醒。
hadoop3版本的兼容性简单调研
breakout_alex的博客
07-08 4968
hadoop3版本的兼容性简单调研 目录： 1.与其他组件的兼容性版本 2.与hadoop2版本的客户端兼容性 一.与其他组件的兼容性版本 目前依赖hadoop的常用组件有spark、hive、hbase等.目前只调研hive和hbase这两个重要组件。 参考组件的官网发布信息，一般每个版本的发布信息会说明已经支持那个hadoop版本的底层服务，说明 已经经过...
CDH6.3.2安装cloudera-manager-daemons出现JDK版本不兼容问题
终极量化数据的专栏
10-17 2909
如题，今天在测试环境安装CDH6.3.2时，执行 rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm， 输出以下错误： warning: cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID b0b19c9f: NOKEY Preparing...
hadoop 版本兼容问题
尘世间的一个小书童
03-19 298
  目前学习hadoop的书籍资料还不算多，在学习hadoop权威指南时，编写代码示例出现错误，代码为查找最好气温：  public class MaxTemperature { public static void main(String[] args) throws IOException { if (args.length != 2) { System.e...
Druid.io系列（六）：问题总结
njpjsoftdev的博客
10-28 1万+
Druid问题总结
ZooKeeper集群搭建常见问题：Connection refused
iteye_8531的博客
01-19 730
1.前言每一次搭建集群环境都像一次战斗，作战中任何一个细节的出错都会导致严重的后果，所以搭建中所需要做的配置如系统配置、网络配置（防火墙记得关）、用户权限、文件权限还有配置文件等等内容，都必须非常仔细，将失误扼杀在摇篮之中，避免因为粗心或者想要提高速度省下的一分钟，在后面付出几个小时的调试时间，因小失大实在不值，切记核对、核对再核对。今天就来说说在搭建ZooKeeper集群遇到的一个常见的问题C...
Sqoop之——Error: Could not find or load main class 解决方案
冰河的专栏
09-12 3576
转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/82669968 废话不多说，到链接https://download.youkuaiyun.com/download/l1028386804/10663106 下载资源，将相关的Jar包放到Sqoop的lib目录下，即可。     ...
druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
忘掉地平线
07-06 4397
druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework
Hadoop-COS：让Apache Hadoop、Spark等框架轻松访问腾讯云COS数据
对于Apache Hadoop-3.3.0之前的版本或在Cloudera Distribution包括Hadoop（CDH）环境中使用Hadoop-COS，则需要通过集成Hadoop-COS jar包，并重启NameNode来加载这个jar包。 6. 安装方法： 获取Hadoop-COS的分发包...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值