jdk1.7+Eclipse+Maven3.5+Hadoop2.7.3构建hadoop项目

最新推荐文章于 2024-03-24 15:55:28 发布

公众号【禅与大数据】，欢迎订阅

最新推荐文章于 2024-03-24 15:55:28 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop问题 eclipse hadoop wordcount 大数据文章标签：大数据 hadoop eclipse maven

本文链接：https://blog.youkuaiyun.com/cafebar123/article/details/73649588


之前是用Map/Reduce项目来运行hadoop的，这是直接Run on hadoop的，参见：http://blog.youkuaiyun.com/cafebar123/article/details/73611341
下面用java Application 来运行wordcount 程序。
（1）前提条件：
1.eclipse中集成maven插件；
2.eclipse中集成hadoop插件；
3.eclipse中可以运行Map/Reduce项目，并可以得到有效结果。
（2）Maven构建hadoop环境
打开window 命令控制台，输入：
e:
cd E:\eclipse demo\myHadoop
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.myhadoop.wordcount -DartifactId=myHadoop -DpackageName=org.myhadoop.wordcount -Dversion=1.0-SNAPSHOT -DinteractiveMode=false

接着看下载界面，如图：

这样会构建一个java项目。

（3）安装需要的jar包。

cd E:\eclipse demo\myHadoop\myHadoop
mvn clean install

（4）将maven构建的java项目导入eclipse中。

（5）在pom.xml 中增加依赖包：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
	<modelVersion>4.0.0</modelVersion>
	<groupId>org.myhadoop.wordcount</groupId>
	<artifactId>myHadoop</artifactId>
	<packaging>jar</packaging>
	<version>1.0-SNAPSHOT</version>
	<properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <hadoop.version>2.7.3</hadoop.version>
    </properties>
	<name>myHadoop</name>
	<url>http://maven.apache.org</url>
	<dependencies>		
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>4.4</version>
			<scope>test</scope>
		</dependency>
		<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</a