Hadoop：HDFS – java.lang.NoSuchMethodError：org.apache.hadoop.fs.FSOutputSummer。（Ljava / util / zip / ...

dnc8371

于 2020-05-26 01:05:39 发布

阅读量511

点赞数

文章标签： java hadoop hdfs 大数据 hbase

本文介绍了在尝试与远程HDFS服务器通信时遇到的`java.lang.NoSuchMethodError`异常，问题源于POM文件中错误的hadoop-hdfs依赖版本。通过分析堆栈跟踪，发现需添加正确版本的依赖以解决问题。最终，成功在HDFS中创建文件，验证了修复方案的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我想编写一个小程序来检查一台机器是否可以与在另一台机器上运行的HDFS服务器进行通信，并修改Hadoop Wiki中的一些代码，如下所示：

package org.playground;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
 
import java.io.IOException;
 
public class HadoopDFSFileReadWrite {
 
    static void printAndExit(String str) {
        System.err.println( str );
        System.exit(1);
    }
 
    public static void main (String[] argv) throws IOException {
        Configuration conf = new Configuration();
        conf.addResource(new Path("/Users/markneedham/Downloads/core-site.xml"));
 
        FileSystem fs = FileSystem.get(conf);
 
        Path inFile = new Path("hdfs://192.168.0.11/user/markneedham/explore.R");
        Path outFile = new Path("hdfs://192.168.0.11/user/markneedham/output-" + System.currentTimeMillis());
 
        // Check if input/output are valid
        i

最低0.47元/天解锁文章