Hadoop 2.x本地库native lib及如何源码编译

最新推荐文章于 2021-06-19 17:08:04 发布

转载最新推荐文章于 2021-06-19 17:08:04 发布 · 148 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://yq.aliyun.com/articles/510286

文章标签：

#大数据

本文介绍了遇到执行HDFS命令时出现错误的情况及解决步骤。首先分析了报错原因是由于运行代码与native代码版本不一致导致。接着给出了具体的操作指南，包括下载源码、上传到服务器、备份并重新命名原有代码、解压源码等过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

执行命令bin/hdfs dfs -ls报错

image.png

报错原因

运行的代码与natvie中的代码版本不一致造成

image.png

下载源码

image.png

上传源码到服务器

image.png

把原理的代码备份重新命名

image.png

解压下载的源码

tar -zxvf /opt/modules/hadoop-2.5.0-src.tar.gz -C /opt/modules/

查看源码中的BUIDING.TXT

image.png

根据此文件的提示,一步一步进行操作即可.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_34043301

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

mac下编译hadoop3.0.*版本的native lib

qq_14811559的博客

05-14

3653

一、问题mac安装hadoop3.0.0 后报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable。原因一：lib/native路径配置问题打开环境变量配置文件：vi ~/.bash_profi...

编译hadoop并获取native

anyuzun的博客

12-12

1443

文档说明该文档为完成编译后，根据印象编写，并未经过重新编译测试，大体步骤应该没错，如有错误，望指正。编译的最初目的，是为了获取合适的native包，并且检测手动编译的native包和自带的native包有何差别。编译的版本为apache-hadoop-2.7.6和hadoop-2.6.0-cdh5.5.0。编译说明源码中会有一个 BUILDING.txt...

参与评论您还未登录，请先登录后发表或查看评论

Hadoop重新编译64 位本地库全部资源包

06-23

包括： apache-ant-1.9.4-bin.tar.gz apache-maven-3.0.5-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz hadoop-2.4.0-src.tar.gz （附赠：cenos-6.5-hadoop-2.6.4.tar.gz）

[hadoop] hadoop native libraries 编译

a84480766的博客

05-07

251

安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-Javaclasses where applicable 原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。解决方法：一、去网站：h...

mac 下hadoop3.0.2编译的native库

05-14

mac版本，解决hadoop3.0.0安装后无法加载本地库的问题

hadoop2.6.0编译后的native库如何加载

xiaoan_ding的专栏

04-18

606

问题： [root@lsn-linux hadoop-2.6.0]# hadoop fs -ls / 14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applic

native-lib-loader:本机库加载器，用于从Java中提取和加载本机库

05-15

关于本机库加载器本机库加载器是一个实用程序，可帮助从Java加载本机库。它提供了从JAR文件轻松识别，提取和加载正确的特定于平台的本机库的功能。执照简化的BSD许可证用法添加依赖在Maven Central中搜索，并将依赖项添加到pom.xml。 < dependency> < groupId>org.scijava</ groupId> < artifactId>native-lib-loader</ artifactId> < version>x.y.z</ version> </ dependency> 打包本机库本机库应打包为一个具有以下目录和文件结构的jar文件： /natives /linux_32 libxxx[-vvv].so /linux_64 libxxx[-vvv].so /

Hadoop2.x 64位本地库下载指南

根据提供的文件信息，我们将详细介绍Hadoop 2.x版本的64位本地库（native library），以及与之相关的重要知识点。 ### Hadoop 2.x 本地库（Native Library） Hadoop 是一个开源的框架，允许使用简单的编程模型在跨...

hadoop-3.1.3-mac-native_lib.zip

02-23

本压缩包文件“hadoop-3.1.3-mac-native_lib.zip”专门针对macOS系统，包含了在macOS环境下编译Hadoop 3.1.3源码后得到的本地库（native library）。这些本地库对于解决macOS用户在安装或运行Hadoop时可能出现的因...

mac下编译hadoop3.1.4源码生成的native库

01-25

在Mac环境下编译Hadoop 3.1.4的源码以生成其本地库是一个涉及多步骤的过程，这对于理解Hadoop的内部工作原理以及自定义配置具有重要意义。Hadoop是Apache软件基金会的一个开源项目，主要处理分布式存储和计算任务。...

解决Mac安装Hadoop报错：hadoop-3.1.3-mac-native_lib.zip源码编译

标题：“hadoop-3.1.3-mac-native_lib.zip”解析了这个文件是针对macOS操作系统用户在编译Hadoop-3.1.3源码后得到的本地库文件的压缩包。文件的作用是为了解决在macOS系统上安装Hadoop时因为缺少本地库而出现的报错...

怎么编译Hadoop源代码

oraclestudyroad的博客

07-19

633

在Linux环境下编译源代码之前，需进行以下准备工作：确保安装的Maven版本在3.0.2以上; Protocol Buffers安装版本为2.5.0; 如果要启用findbugs，则需确认已经安装了Findbugs; 如果要编译native code，则需确认安装了CMake 2.6或者更新版本; 第一次编译代码，需确认可以连接互联网(Maven要从代码库中下载依

libhdfs编译，安装，配置，使用

weixin_33701251的博客

06-28

1237

我是把hadoop 0.20.2安装到/opt/hadoop目录下,故 HADOOP_HOME=/opt/hadoop 而我系统安装的是openjdk-1.6.0，主目录 JAVA_HOME= /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64 一、编译 $cd /opt/hadoop$ant compile-c++-libhdfs -...

hadoop源码研究编译错误记录

plifemao的博客

01-31

9371

文章目录hadoop-common编译失败hadoop-nodemanager编译失败 hadoop-common编译失败编译错误如下 [WARNING] See also &amp;amp;quot;/project/hadoop-3.2.0-src/hadoop-common-project/hadoop-common/target/native/CMakeFiles/CMakeOutput.log&amp;amp;quot;. [INF...

hadoop编译native包

qq_37806518的博客

04-09

1068

hadoop编译native包 hadoop源码包 http://mirrors.hust.edu.cn/apache/hadoop/common protobuf（用于编译生成hadoop的native包） centos下： yum -y install lzo-devel zlib-devel gcc autoconf automake libtool 安装g++：yum -y inst...

CentOS7环境下编译Hadoop3.2.1源码

u011066054的博客

06-19

862

1.环境搭建镜像版本：CentOS-7-x86_64-DVD-1908.iso SOFTWARE SELECTION：GNOME Desktio

Hadoop3.2.0 源码编译 [一]

张伯毅的专栏

04-13

8698

1.软件包版本:hadoop-3.2.0 链接:https://pan.baidu.com/s/1wo8ysbGcHw5haOfKyKaEKA 密码:ygxj 2.环境准备: * Unix System * JDK 1.8 * Maven 3.3 or later * ProtocolBuffer...