java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray

最新推荐文章于 2022-12-18 14:25:07 发布
原创 最新推荐文章于 2022-12-18 14:25:07 发布 · 2.5k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS

 java客户端连接HDFS报错：

Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

 在网上查找原因后，发现这是由于hadoop.dll 版本问题引起的。

 需要选择正确的版本，查询hadoop版本，如hadoop-2.6.0，那么需要下载相同版本的hadoop.dll，或者版本稍高。

将下载hadoop.dll放到HADOOP_HOME的bin目录下，同时copy到windows系统的c:/window/system32/下。

测试后，正常。

 

附：

hadoop.dll下载地址：

hadoop-2.6.0：https://github.com/sdravida/hadoop2.6_Win_x64/blob/master/bin/hadoop.dll；

其他版本：https://github.com/steveloughran/winutils

 

 

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误的处理方法，适用于hadoop3.1.3
weixin_51273963的博客
07-03 5632
hadoop3.1.3、java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Nativ、idea
Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$PO
m0_55901666的博客
12-18 3593
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
Jornici的博客
09-18 1606
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V     这是由于hadoop.dll 版本问题，2.4之前的和自后的需要的不一样
hadoop winutils合集,org.apache.hadoop.util.NativeCrc32
04-12
该wintuils合集包含hadoop2.6.0、2.6.3、2.6.4、2.7.1、2.8.0、2.8.3、3.0.0版本，请需要的小伙伴们前来下载，用以解决本地测试报错问题。 (将bin文件放到/hadoop/下，hadoop.dll和wintuils.exe放到/windows/system32/下)
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
baidu_21349635的专栏
06-08 1827
/** * 上传 */ @Test public void putHDFS() throws IOException, URISyntaxException, InterruptedException { //创建配置信息 Configuration conf = new Configuration(); //...
Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo...
weixin_33881753的博客
09-13 201
在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。 描述一下:电脑是win8.1的64位...
org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String；JZ)
weixin_44347111的博客
09-12 700
通过java连接hdfs的时候，报了上面出现的问题，甚是头秃，下面给出解决办法 百度发现是自己操作系统的问题，需要将把hadoop.dll和winutil.exe两个文件放到到C:\windows\system32 里，如果已经存在，就直接覆盖。 下载地址：https://github.com/steveloughran/winutils上下载，自行选择对应的hadoop版本。 大家自行选择需要的版本，从里面挑出hadoop.dll和winutil.exe两个文件放到到C:\windows\sy..
Hadoop实战（二），org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
kngines
04-10 6289
场景描述 探索Hadoop开发经验，从而进一步理解Haddoop源码设计及核心思想 实验环境 伪分布式 hadoop 2.6.4 实验内容 打印HDFS目录信息 在HDFS中新建文件 写入中英文数据 代码实现 具体包、配置不在详述 . package hadoop; import java.io.IOException; import java.io.InputStrea...
Tomcat启动时报错：java.lang.UnsatisfiedLinkError的解决
08-30
《解决Tomcat启动时的java.lang.UnsatisfiedLinkError报错》 在日常开发和运维过程中，遇到Tomcat启动时报错“java.lang.UnsatisfiedLinkError”可能会让开发者感到困扰，尽管这种错误并不直接影响项目的正常运行，...
hadoop java.lang.UnsatisfiedLinkError
09-12
解决方案：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
idea中Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.Native
qq_56572867的博客
04-02 981
这个困扰了我三天的问题，之前已经不想解决了，直到再一次遇到，决定彻底干它，之前也在网上搜了一些解决它的办法，什么改变环境还有加入NativeIO，都没有用，不过最后还是使用了NativeIO的方法解决了，之前一直没有用的原因是，没有把文件放对位置 正确的位置应该是放在java包下，和项目包并行，而且必须是这个包名org.apache.hadoop.io.nativeio和NativeIO这个类名，不然不能覆盖原来的这个类 下面附上NativeIO的源码，有的包可能要自己引一下，细节上应该不用说了
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...
Gamedev
01-22 3792
在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J
win7上代码连接hadoop出现错误 ：org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIIL...
weixin_33856370的博客
11-16 760
　　 在idea和eclipse中调试hadoop中hdfs文件，之前好好的，结果突然就出现java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 的报错，查询网上的各种资料之后都说：“...
Windows连接远程hdfs出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComput错误
Aspirin's Nest
08-17 4518
背景 以前写spark都没有读取过hdfs文件，而是读取本地文件，今天试了一下读取公司服务器的文件，做一个简单的word count结果出问题了。 Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuff...
亲测有效Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nati
qq_41371858的博客
11-23 611
Exceptionin thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo 这是因为hdoop版本不对。去我的云盘里下载一下。 链接：https://pan.baidu.com/s/1MSGq_ESPKujRmO655jlkVw 提取码：x3sw 下载之后配置下环境变量就...
scala问题：Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeC
qq_44817611的博客
11-15 1835
scala问题：Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 报错详情： Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunked
windows下测试hdfs报错：java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChu
jerome_jun的专栏
07-25 1014
测试hdfs读写文件的时候，已经设置了环境变量，在eclipseLuna 版本下正常，同样的代码在eclipseOxygen.3a Release (4.7.3a)下报错：java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;JZ)V 解决办..
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:645) at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:1230) at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:160) at org.apache.hadoop.util.DiskChecker.checkDirInternal(DiskChecker.java:100) at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:77) at org.apache.hadoop.util.BasicDiskValidator.checkStatus(BasicDiskValidator.java:32) at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:331) at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:394) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:165) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:146) at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:130) at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:123) at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:172) at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:794) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:251) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1570) at org.apache.hadoop.mapreduce.Job$11.run(Job.java:1567) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1567) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1588) at edu.imu.mapreduce.WordCount.run(WordCount.java:62) at edu.imu.m
最新发布
07-03
该异常 `java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0` 通常出现在 Windows 系统上运行 Hadoop 相关程序时，由于缺少必要的本地库文件（如 `winutils.exe` 和 `hadoop.dll`）导致的本地链接错误。为了解决这个问题，可以采取以下措施： 1. **下载 `winutils.exe`** 需要从 GitHub 上获取适用于 Hadoop 的 `winutils.exe` 文件，例如可以通过 [steveloughran/winutils](https://github.com/steveloughran/winutils) 获取最新版本的工具集。确保选择的版本与当前使用的 Hadoop 版本兼容。 2. **配置环境变量** 将 `winutils.exe` 放置在一个合适的目录中，比如 `C:\hadoop\bin`，并设置系统环境变量 `HADOOP_HOME` 指向该目录。此外，将 `C:\hadoop\bin` 添加到系统的 `Path` 环境变量中，以便操作系统能够找到并执行这些工具文件[^3]。 3. **放置 `hadoop.dll` 文件** 将 `winutils` 包含的 `hadoop.dll` 文件复制到系统目录 `C:\Windows\System32` 中，这样 Java 虚拟机在运行时可以直接访问到这个 DLL 文件，从而避免链接错误。 4. **验证配置** 打开命令行窗口并输入 `echo %HADOOP_HOME%` 来确认环境变量是否正确设置，并且测试运行 Hadoop 应用程序以检查问题是否已解决。 5. **使用依赖管理工具** 如果项目使用 Maven 或 Gradle 等依赖管理工具，则需要确保构建脚本中包含正确的 Hadoop 依赖项，并且版本一致。这有助于减少因依赖版本不匹配而导致的问题。 6. **JVM 参数设置** 在某些情况下，可能还需要通过 JVM 启动参数 `-Djava.library.path` 明确指定本地库路径，例如： ```shell -Djava.library.path=C:\hadoop\bin ``` 7. **重新启动开发环境** 修改环境变量后，有时需要重启 IDE 或其他开发环境才能使更改生效。 8. **检查权限问题** 确保所有相关文件和目录都具有适当的读取和执行权限，特别是在多用户环境中。 9. **日志分析** 查看完整的异常堆栈跟踪，确定具体是哪个本地方法调用失败，这可以帮助定位问题根源。 10. **更新操作系统和驱动程序** 确认操作系统以及相关的硬件驱动程序都是最新的，有时候旧版驱动可能会导致兼容性问题。 通过以上步骤，应该能够有效解决由本地库缺失或配置不当引起的 `UnsatisfiedLinkError` 异常问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值