【Hadoop】Windows 10 在Intellij IEDA本地运行Hadoop MapReduce实例

最新推荐文章于 2025-04-06 10:51:55 发布

weiiL

最新推荐文章于 2025-04-06 10:51:55 发布

阅读量4.5k

点赞数 3

分类专栏： hadoop bigdata maven 文章标签： MapReduce hadoop maven idea wordcount

本文链接：https://blog.youkuaiyun.com/m0_37324825/article/details/80565624

版权

本文详细介绍了在Windows 10上使用IntelliJ IDEA进行Hadoop MapReduce开发的步骤，包括环境配置、创建Maven项目、编写JavaWordCount程序及解决运行过程中遇到的NativeIO、FileUtils等问题。通过文中提供的解决方案，读者能够成功在本地运行Hadoop MapReduce实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

环境：
操作系统：Windows 10
Hadoop版本：2.7.3
Java版本: 1.8

前期准备：
2.运行MR实例
- 1.编写JavaWordCount
3. 运行问题解决

前期准备：

1. 配置hadoop环境。

按【Windows部署Hadoop（无Cygwin）】的方法配置Hadoop环境。

2. 配置maven环境。

1.下载maven部署包apache-maven-3.5.3-bin.zip，解压到D:\envpath\apache-maven目录下。
2.在apache-maven目录下新建文件夹repository，这个文件夹用来存放maven下载的jar包。
3.修改apache-maven-3.5.3-bin的conf文件夹下settings.xml文件。将修改的settings.xml文件复制到apache-maven目录下。
<mirrors><mirrors>用来配置镜像地址，可以加快依赖的下载。
<localRepository><localRepository>用来配置存放依赖文件的本地目录。

<?xml version="1.0" encoding="UTF-8"?>
  <localRepository>D:/envpath/apache-maven/repository</localRepository>
  <mirrors>
    <mirror>
            <id>alimaven</id>
            <mirrorOf>central</mirrorOf>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
        </mirror>
        <mirror>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <id>central</id>
            <name>Maven Repository Switchboard</name>
            <url>http://repo1.maven.org/maven2/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <id>repo2</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo2.maven.org/maven2/</url>
        </mirror>
        <mirror>
            <id>ibiblio</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>
        </mirror>
        <mirror>
            <id>jboss-public-repository-group

最低0.47元/天解锁文章