Hadoop上传文件和下载文件时候出现的问题

最新推荐文章于 2024-07-08 16:49:39 发布

weixin_34342207

最新推荐文章于 2024-07-08 16:49:39 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

文章标签：大数据 python java

原文链接：https://my.oschina.net/u/3425573/blog/3048624

本文详细介绍了使用Hadoop进行文件上传和下载的操作方法，并针对上传过程中的连接超时问题提出了有效的解决方案。同时，文章还探讨了下载时出现多余crc文件的现象，邀请读者共同讨论可能的原因。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

在Hadoop做上传下载操作的时候，上传的时候会出现一个超时的异常，在下载的时候回多出来crc的文件

     /**
     * 上传代码
     */
    @Test
    public void putFileToHDFS() throws URISyntaxException, IOException, InterruptedException {
        //1.创建配置信息
        //F2可以快速的定位错误
        Configuration conf = new Configuration();

        //2.设置部分参数
        conf.set("dfs.replication","2");
        //3.找到HDFS的地址
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://bigdata111:9000"), conf, "root");
        //4.上传本地Windows文件的路径
        Path src = new Path("D:\\data\\demo1.txt");
        //Path src = new Path("D:\\tools\\null\\null.sys");
        //Path src = new Path("D:\\tools\\Linux所用Jar包\\hadoop-2.7.2.rar");

        //5.要上传到HDFS的路径
        Path dst = new Path("hdfs://bigdata111:9000/");

        //6.以拷贝的方式上传从src到dst
        fileSystem.copyFromLocalFile(src,dst);
        //7.关闭
        fileSystem.close();
        System.out.print("Ok,上传完成了");
    }

@Test
    public void getFileFromHDFS() throws URISyntaxException, IOException, InterruptedException {
        //1.获取配置
        Configuration conf = new Configuration();
        //2.获取hdfs连接
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"),conf,"root");
        //3.文件下载
//        Path dst = new Path("D:\\tools\\demoFile\\null.sys");
//        Path src = new Path("hdfs://bigdata111:9000/null.sys");
        Path dst = new Path("D:\\tools\\demoFile\\hadoop-2.7.2.rar");
        Path src = new Path("hdfs://bigdata111:9000/hadoop-2.7.2.rar");
        fs.copyToLocalFile(src,dst);
        fs.close();
        System.out.print("OK，下载完成");

    }

上传文件到HDFS的时候报连接超时