windows下使用Idea来运行MR

Windows下使用idea来运行MR

1、配置本地环境变量

我们要先在本地配置Hadoop运行环境，我的是hadoop2.7.5
先解压按装包，然后配置hadoop环境变量

2、下载hadoop.dall和winutils.exe两个文件，我在这里面下载的是hadoop2.7.1

网址：https://github.com/LUK-qianliu/winutils-master

将下载好的这两个文件放到hadoop的bin目录下，但是此时我们还不能运行成功，我们还需要将hadoop.dell文件放到System32目录下，然后运行MR程序，程序启动成功

3、当我们对HDFS文件系统进行操作的时候

有时候会给我报权限的问题，此时我们需要在hadoop/ect/hadoop目录下配置hdfs-site.xml文件中添加

<property> 
	<name>dfs.permissions</name> 
	<value>false</value> 
</property>