hadoop学习7

本文介绍了一种在Hadoop分布式文件系统(HDFS)中上传本地文件的方法,并详细展示了使用Java API进行文件上传的具体步骤。此外,针对Windows环境下的权限问题,提供了四种解决方案。

将本地文件上传为hdfs文件

    String localSrc = "";

        String dst = "";

        InputStream in = new BufferedInputStream(new FileInputStream(new File(localSrc)));

        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI(dst),conf);

        OutputStream out = fs.create(new Path(dst),new Progressable() {

            @Override
            public void progress() {
                System.out.print("*");
            }
        });
        IOUtils.copyBytes(in,out, 4096,true);

如果你是在window环境下操作的,可能会有权限文件,
解决问题的办法:

   1.将window下的名字改成hadoop的名字相同
   2.执行hadoop fs -chmod 777 /命令
   3.在系统的环境变量中添加HADOOP_USER_NAME为hadoop的用户
   4.在hdfs的配置文件中,将dfs.permissions修改为False
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值