目前已知三种方式,前提在VMware中搭建了Hadoop于Linux虚拟机中的运行环境。
1、在Linux中下载Idea并配置maven环境,复制网上代码,在src/main/java文件夹下新建WordcountDriver.class、WordcountMapper.class、WordcountReducer.class,调整configurations确定输入输出文件位置,启动hadoop集群,运行main函数。
2、在Windows下配置hadoop环境,idea和maven下载并配置好,本地运行测试后可打jar包,复制到linux下的hadoop运行。
参考:有个机车梦的教程
3、在Windows下的Idea中远程连接Linux的HDFS,能够通过HDFS 将文件保存到Windows,也能从Windows将文件上传到HDFS。
在idea里运行调试Mapreduce程序,学习中......
最新推荐文章于 2024-04-01 14:33:07 发布