hadoop之初、执行环境

最新推荐文章于 2024-11-05 11:51:44 发布

转载最新推荐文章于 2024-11-05 11:51:44 发布 · 174 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/captainliu/blog/747333

文章标签：

#大数据 #python #java

本文详细介绍了MapReduce(MR)执行环境的两种配置方式：本地测试环境与服务器环境。对于本地测试环境，文章提供了具体步骤指导如何配置Hadoop环境变量及源码修改等。对于服务器环境，讲解了如何进行MR程序的打包、部署以及调用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2019独角兽企业重金招聘Python工程师标准>>>

1、MR执行环境有两种：本地测试环境，服务器环境

本地测试环境(windows)：

	在windows的hadoop目录bin目录有一个winutils.exe
	1、在windows下配置hadoop的环境变量
	2、拷贝debug工具(winutils.exe)到HADOOP_HOME/bin
	3、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib
	
	4、MR调用的代码需要改变：
		a、src不能有服务器的hadoop配置文件
		b、在调用是使用：
			Configuration config = new  Configuration();
			config.set("fs.defaultFS", "hdfs://node7:8020");

服务器环境：

首先需要在src下放置服务器上的hadoop配置文件

1、在本地直接调用，执行过程在服务器上（真正企业运行环境）
	a、把MR程序打包（jar），直接放到本地
	b、修改hadoop的源码 ，注意：确保项目的lib需要真实安装的jdk的lib
	c、增加一个属性：
		config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
	d、本地执行main方法，servlet调用MR。
	
	
2、直接在服务器上，使用命令的方式调用，执行过程也在服务器上
	a、把MR程序打包（jar），传送到服务器上
	b、通过： hadoop jar jar路径  类的全限定名

hadoop jar  xxx.jar   className 
hadoop jar  wordCount.jar   www.bjsxt.wc.RunJob

转载于:https://my.oschina.net/captainliu/blog/747333