YARN异常: we cannot start a localDataXceiverServer because libhadoop cannot解决方法

最新推荐文章于 2024-08-12 16:04:13 发布
最新推荐文章于 2024-08-12 16:04:13 发布 · 1.5k 阅读 · 2
文章标签：

#大数据

本文介绍了解决Hadoop CDH5.0在部署yarn过程中出现的RuntimeException问题的方法。异常原因是缺少nativelib，解决步骤包括从Cloudera官网下载对应版本的RPM包，并参照特定教程进行解压和复制操作。

版本：

HadoopCDH5.0

异常描述：

部署hadoop yarn的时候报RuntimeException，信息如下：

java.lang.RuntimeException: Although a UNIX domain socket path is configured as /var/run/hadoop-hdfs/dn._PORT, we cannot start a localDataXceiverServer because libhadoop cannot be loaded.

 

问题原因：

hadoop cdh5的native lib没有，解决方式是去官方下载:

资源根路径：http://archive-primary.cloudera.com/cdh5/

RPM：hadoop-2.2.0+cdh5.0.0+1610-0.cdh5b2.p0.51.el5.x86_64.rpm

然后参考

http://snv.iteye.com/blog/2030429

解压cp即可

【Flink】Flink启动报错 BindException: Could not start rest endpoint on any port in port range 7089
九师兄
07-01 2028
1.背景 Flink界面启动报错如下 2020-05-15 13:27:47,001 INFO org.apache.flink.client.cli.CliFrontend - -------------------------------------------------------------------------------- 2020-05-15 13:27:47,007 INFO org.apache.flink.configuration..
使用idea编写spark程序并提交到yarn集群例子
光于前裕于后的博客
03-04 3982
需提前安装jdk、scala 1.创建新项目 2.增加Maven 3.修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4
部署impala后，启动hadoop时，datanode启动失败
jaaaaa_的博客
03-20 3036
由于impala的配置文件是依赖于hadoop和hive的，所以在部署impala时，会在之前配置好的hadoop配置文件的基础上再进行修改。 本次报错主要体现在 修改了hdfs-site.xml <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 配置后，启动h
Exception in secureMain java.lang.RuntimeException: Although a UNIX domain socket path is configured
weixin_43172032的博客
06-23 1638
hdfs datanode启动失败问题描述问题排查 问题描述 新装的hdp集群，hdfs启动后，datanode马上全部死掉，查看日志报错信息如下： 2020-06-22 00:37:20,594 INFO datanode.DataNode (DataXceiverServer.java:<init>(79)) - Number threads for balancing is 50 2020-06-22 00:37:20,595 ERROR datanode.DataNode (DataN
hadoop CDH4.4上Impala集群安装
K_James的专栏
12-31 5343
hadoop-001     10.168.204.55  state-store, catalog, impalad hadoop-002     10.168.204.56  impalad hadoop-003     10.168.204.57  impalad hadoop-004     10.168.204.58  impalad 版本: impala 1.2
hadoop DN不能启动,报错：DataXceiver error processing WRITE_BLOCK operation
aspkhdp的博客
08-04 8215
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: hadoop-yarn.cloudyhadoop.com:50010:DataXceiver error processing READ_BLOCK operation src: /192.168.1.104:52441 dst: /192.168.1.20:50010 修改数据传输
Hadoop常见问题
red_sky_blue的专栏
11-08 1464
hadoop集群启动namenode, datanode启动报错
error Cannot start server in new windows because no terminal app was specified, use --terminal to specify, or start a dev server manually by running npm start or yarn start in other terminal window.
最新发布
08-02
在开发过程中，用户尝试启动开发服务器时遇到了 `Cannot start server in new windows` 的错误提示。此类问题通常出现在某些 IDE 或编辑器（如 VS Code）尝试在新终端窗口中运行命令时，系统无法正确识别或执行脚本...
VS code上跑yarn start报running scripts is disabled on this system错误的解决方法
FE攻城狮
05-11 1119
今天想在vs code的命令框里运行yarn start，因为不想命令框满天飞。 结果发现报错了
Yarn LogAggregationService的日志收集失败导致的NodeManager OOM和启动失败
小昌昌的博客
07-25 1677
NodeManager因为OOM问题无法正常启动，我们发现是NodeManager在启动时会加载StateStore中的Application而StateStore中Application过多导致。进一步，我们看到StateStore中Application过多是Log Aggregation失效导致。本文详细记录事故处理过程，代码层面分析NodeManager recover和Log Aggregation的基本原理。
CDH 安装hadoop Datanode启动失败
mthinking
04-26 1157
启动WARN 晚上11点09:05.570分 WARN NativeCodeLoader Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 晚上11点09:05.892分 WARN EventStorePublisherWithRetry Fai...
【无标题】
weixin_51473488的博客
08-12 276
kerberos启动datanode报错
java.lang.RuntimeException: Although a UNIX domain socket path is configured as /opt/module/hadoop-2
m0_46504700的博客
03-12 575
java.lang.RuntimeException: Although a UNIX domain socket path is configured as /opt/module/hadoop-2.7.2/hdfs-sockets/dn, we cannot start a localDataXceiverServer because libhadoop cannot be loaded. 问题：Hadoop中的hdfs-socket下的du文件丢失 解决办法：重新格式化集群、其他办法待续… ...
Centos6.10安装impala集成kudu之错误
a376554764的博客
04-12 761
Centos6.10安装impala集成kudu时，修改了hdfs-site.xml文件时，加入了下面属性： <property> <name>dfs.domain.socket.path</name> <value>/var/run/hdfs-sockets/dn</value> </property> 然后重新启动hdf...
[HDFS]FileSystem.copyToLocalFile下载文件报错Unable to load native-hadoop library for your platform...
05-25 1338
应用在服务器上启动后，从HDFS下载文件失败，报错如下： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable The short-circuit local reads feature cannot be used because libhadoop cannot be loaded. 第一句提示不能加载Hadoop的库，检查库，提示hadoop命令
Spark on Yarn安装过程遇到的错误
dylanld的专栏
11-28 4087
错误1： 运行yarn clien模式时候 [main]client.RMProxy (RMProxy.java:createRMProxy(92)) - Connecting to ResourceManagerat /0.0.0.0:8032 2014-11-2615:16:35,416 INFO  [main] ipc.Client(Client.java:handleConnecti
遇见错误：启动Hadoop相关错误之——启动不了datanode
ss762349239的博客
10-08 657
遇见错误：启动Hadoop相关错误之——启动不了datanode1.配置hadoop所有环境后，尝试启动hadoop所有相关服务，利用start-all.sh进行启动，发现datanode启动不起来，如下如所示：2.找到hadoop的logs，查看datanode.log，结果如下：3.果然有fail，查找原因之后发现是namenode and datanode cluster ID不匹配，解决办法
解决启动hadoop时datanode无法启动
qq_35888719的博客
01-10 598
当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID，这样，datanode和namen...
hadoop常见报错
weixin_54051652的博客
07-05 3693
hadoop常见报错
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值