Maven构件Hadoop1.x以及Hadoop2.x项目

最新推荐文章于 2024-03-24 15:55:28 发布

小niuniu

最新推荐文章于 2024-03-24 15:55:28 发布

阅读量2.2k

点赞数 2

分类专栏： Hadoop 文章标签： maven构件hadoop项目

本文链接：https://blog.youkuaiyun.com/tryhl/article/details/44032687

版权

本文详细介绍了如何使用Maven构建Hadoop1.x和2.x的项目，包括修改pom.xml文件，添加依赖，下载配置文件，解决Windows环境下特有的权限问题，以及处理Hadoop2.x的特定错误。通过实例步骤，帮助开发者成功构建并运行Hadoop MapReduce项目。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参看文档

http://blog.youkuaiyun.com/tryhl/article/details/43967441

也可以关注我的另外一篇文章http://www.aboutyun.com/blog-12709-1768.html

也可以加入群 316297243一起学习讨论

此文章用于学习和交流，转载请注明

1 Hadoop1.x的Maven项目构建

怎么用Maven构建项目，以及怎么构建hadoop项目，这里就不详细介绍，详情请参考

http://blog.youkuaiyun.com/tryhl/article/details/43967441

这里只讲述在用maven构建hadoop1.x项目以及导入Eclipse运行需要注意的问题以及产生的问题。

1）修改pom.xml文件

我依赖的是hadoop-1.2.1版本的

加入如下依赖

 <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-core</artifactId>
      <version>1.2.1</version>
  </dependency>

加入依赖之后等待下载相关的jar包

2）从hadoop集群中下载配置文件

这里不加也行

下载配置文件:

core-site.sh

hdfs-site.sh

mapred-site.sh

把配置文件加入/main/java/resources/hadoop文件夹下

3) 加入WordCount源码

public class WordCount {

	public static class WordCountMapper extends MapReduceBase implements

	Mapper<Object, Text, Text, IntWritable> {

		private final static IntWritable one = new IntWritable(1);

		private Text word = new Text();

		@Override
		public void map(Object key, Text value,

		OutputCollector<Text, IntWritable> output, Reporter reporter)

		throws IOException {

			StringTokenizer itr = new StringTokenizer(value.toString());

			while (itr.hasMoreTokens()) {

				word.set(itr.nextToken());

				output.collect(word, one);

			}

		}

	}

	public static class WordCountReducer extends MapReduceBase implements

	Reducer<Text, IntWritable, Text, IntWritable> {

		private IntWritable result = new IntWritable();

		@Override
		public void reduce(Text key, Iterator<IntWritable> values,

		OutputCollector<Text, IntWritable> output, Reporter reporter)

		throws IOException {

			// TODO Auto-generated method stub

			int sum = 0;

			while (values.hasNext()) {

				sum += va

最低0.47元/天解锁文章