Mac上第一个eclipse编译的Hadoop程序

最新推荐文章于 2021-10-23 00:39:34 发布

网瘾少年沐安涂

最新推荐文章于 2021-10-23 00:39:34 发布

阅读量705

点赞数

分类专栏：大数据文章标签： hadoop eclipse mac

本文链接：https://blog.youkuaiyun.com/G290095142/article/details/78231337

版权

大数据专栏收录该内容

10 篇文章

订阅专栏

本文详细介绍了如何在Mac上安装配置Hadoop，并通过示例演示如何在Eclipse环境中编写和运行Hadoop程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考博客

手把手教你安装mac版hadoop2.7.3教程
 Mac Hadoop的安装与配置
 Win下Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied:
Mac上的第一个hadoop小demo
Mac OSX下配置和启动hadoop以及常见错误解决
 hadoop学习之二:mac下hadoop+eclipse环境搭建

编写第一个Hadoop程序
新建一个Hadoop项目
这里写图片描述
配置 Map/Reduce Locations
Windows—show view—Other—— Map…
新建一个Hadoop local,我的端口为9000，点击确定

在右侧DFS就会出现你创建的Hadoop local,点击就能看到你创建的文件目录

新建HdfsClientDemo.java
中间的koukouken是我的用户名，需要改成你对应的用户名

package testHadoop;

import java.net.URI;
import java.util.Iterator;
import java.util.Map.Entry;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;
/**
 * 
 * 客户端去操作hdfs时，是有一个用户身份的
 * 默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=koukouken
 * 
 * 也可以在构造客户端fs对象时，通过参数传递进去
 * @author
 *
 */
public class HdfsClientDemo {
    FileSystem fs = null;
    Configuration conf = null;
    @Before
    public void init() throws Exception{

        conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        //拿到一个文件系统操作的客户端实例对象
        /*fs = FileSystem.get(conf);*/
        //可以直接传入 uri和用户身份
        fs = FileSystem.get(new URI("hdfs://localhost:9000"),conf,"koukouken"); //最后一个参数为用户名
    }

    @Test
    public void testUpload() throws Exception {

        Thread.sleep(2000);
        fs.copyFromLocalFile(new Path("/Users/koukouken/hadoop/access.log"), new Path("/access.log.copy"));
        fs.close();
    }


    @Test
    public void testDownload() throws Exception {

        fs.copyToLocalFile(new Path("/access.log.copy"), new Path("/Users/koukouken/hadoop"));
        fs.close();
    }

    @Test
    public void testConf(){
        Iterator<Entry<String, String>> iterator = conf.iterator();
        while (iterator.hasNext()) {
            Entry<String, String> entry = iterator.next();
            System.out.println(entry.getValue() + "--" + entry.getValue());//conf加载的内容
        }
    }

    /**
     * 创建目录
     */
    @Test
    public void makdirTest() throws Exception {
        boolean mkdirs = fs.mkdirs(new Path("/user/aaa/bbb"));
        System.out.println(mkdirs);
    }

    /**
     * 删除
     */
    @Test
    public void deleteTest() throws Exception{
        boolean delete = fs.delete(new Path("/user/aaa"), true);//true， 递归删除
        System.out.println(delete);
    }

    @Test
    public void listTest() throws Exception{

        FileStatus[] listStatus = fs.listStatus(new Path("/"));
        for (FileStatus fileStatus : listStatus) {
            System.err.println(fileStatus.getPath()+"================="+fileStatus.toString());
        }
        //会递归找到所有的文件
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
        while(listFiles.hasNext()){
            LocatedFileStatus next = listFiles.next();
            String name = next.getPath().getName();
            Path path = next.getPath();
            System.out.println(name + "---" + path.toString());
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        //拿到一个文件系统操作的客户端实例对象
        FileSystem fs = FileSystem.get(conf);

        fs.copyFromLocalFile(new Path("/Users/koukouken/hadoop/access.log"), new Path("/access.log.copy"));
        fs.close();
    }


}