WIN10配置Hadoop+IDEA+Maven开发环境

最新推荐文章于 2025-04-18 15:38:20 发布

小基基o_O

最新推荐文章于 2025-04-18 15:38:20 发布

阅读量723

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/Yellow_python/article/details/115712233

Hadoop 专栏收录该内容

24 篇文章

订阅专栏

这篇博客介绍了如何在Windows上使用IDEA和Maven搭建Hadoop 3.1.3的本地开发环境。首先，配置IDEA和Maven，然后设置HADOOP_HOME环境变量，并将Hadoop安装目录添加到Path中。接着，下载并解压Hadoop至指定路径。最后，在项目的pom.xml文件中添加Hadoop客户端的依赖项，以便于开发和运行Hadoop相关程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop版本：3.1.3

Windows下使用IDEA+Maven搭建本地Hadoop开发环境

0、安装和配置IDEA+Maven
1、Hadoop环境变量
2、下载并解压Hadoop
3、pom.xml 加入 Hadoop依赖

0、安装和配置IDEA+Maven

https://yellow520.blog.youkuaiyun.com/article/details/115352475

1、Hadoop环境变量

控制面板\系统和安全\系统->高级系统设置->环境变量->系统变量
HADOOP_HOME设置值D:\coding\hadoop
Path加入%HADOOP_HOME%\bin

2、下载并解压Hadoop

下载压缩包，然后解压
https://download.youkuaiyun.com/download/Yellow_python/16672738

解压到上述和环境变量一样的路径D:\coding\hadoop

3、pom.xml 加入 Hadoop依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
</dependency>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小基基o_O

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

WIN10配置Spark+IDEA+Maven开发环境

ArYe

04-29

590

发出火花的目录1、配置IDEA+Maven+Scala开发环境2、配置WIN10上Hadoop开发环境3、pom.xml 添加 Spark4、关联Spark源码5、日志等级修改6、试运行7、打包+提交到集群 1、配置IDEA+Maven+Scala开发环境 2、配置WIN10上Hadoop开发环境 log4j-core

win10+jdk1.8+IntelliJ IDEA+maven搭建java开发环境

guoxinbuct的专栏

10-10

600

一、下载软件 jkd1.8下载地址： Java Archive Downloads - Java SE 8 IntelliJ IDEA下载地址：https://download.jetbrains.com/idea/ideaIC-2021.2.2.exe?_ga=2.223366299.1221095049.1633513390-895722379.1633513390&_gl=1*csxfyi*_ga*ODk1NzIyMzc5LjE2MzM1MTMzOTA.*_ga_V0XZL7QHEB*M

参与评论您还未登录，请先登录后发表或查看评论

maven开发环境搭建

10-13

maven安装、配置，以及在eclipse下搭建开发环境，建立javaweb项目，并运行

【MAVEN】 Maven开发环境搭建

Awsmsniper的博客

07-11

915

1、准备 1.1 下载maven安装包 maven的官方下载地址是http://maven.apache.org/download.cgi 根据自己的操作系统选择相应的版本 1.2 jdk环境变量因为maven依赖Java环境运行，所以在使用maven之前需要配置Java环境变量，Linux下的Java环境变量的方法可参考我之前的帖子基于CentOS7开发之路 --- 第二章

如何配置HADOOP_HOME环境变量

最新发布

2301_81435796的博客

04-18

327

生命周期：Maven 定义了一套标准的项目构建生命周期，主要包括 `clean`、`default` 和 `site` 三个生命周期。每个生命周期由多个阶段（phase）组成，例如 `default` 生命周期包含 `compile`、`test`、`package`、`install`、`deploy` 等阶段。Maven 可以帮助你管理这些依赖项，你只需在项目的 `pom.xml` 文件中声明所需的依赖，Maven 就会自动从远程仓库下载这些依赖项，并将其添加到项目的类路径中。

Maven开发环境搭建

weixin_52629592的博客

08-11

754

在进行Maven开发环境搭建之前我们必须要有两个前提1.我们的电脑已经安装并配置了jdk;2.因为Maven工作时经常需要通过网络下载各种所需文件,因此我们需要保证网络的通常.

Maven 开发环境配置

moonspiritacm

09-22

149

目录1. 安装部署1.1 Windows 平台1.1.1 设置环境变量1.1.2 修改本地仓库路径1.1.3 配置国内镜像 1. 安装部署 1.1 Windows 平台 1.1.1 设置环境变量 set M2_HOME=C:\Softwares\Maven set MAVEN_HOME=C:\Softwares\Maven set Path=%Path%;%M2_HOME%\bin 1.1.2 修改本地仓库路径 Maven 本地仓库默认位于 ${user.home}/.m2/repository 目录下，

32-maven（开发环境，转载）

weixin_42688085的博客

02-11

355

1、Maven概述 1.1 Maven简介 Maven翻译为“专家”，“内行”。Maven是Apache下的一个纯java开发的开源项目。 Maven 是一个项目管理工具，可以对 Java 项目进行构建、依赖管理。 Maven 也可被用于构建和管理各种项目，例如 C#，Ruby，Scala 和其他语言编写的项目。 Maven创始者希望能够更多的让Java开发人员的日常工作更加容易，帮助理解任何基于Java项目。 1.2 Maven的两大功能项目构建和依赖管理。 1.2.1项目构建项目构建是一个项目从：源

Hadoop——使用idea+maven开发Hadoop项目入门

Stay Hungry Stay Foolish

02-26

3939

我们这里使用windows系统作为开发系统首先保证已在Linux中正确开启Hadoop集群，然后要在windows的环境变量里新加一个变量HADOOP_USER_NAME，值为集群里开启Hadoop服务的账户，笔者在服务器中用root用户使用的start-dfs.sh，所以这里的值为root。然后我们将Hadoop的两个配置文件core-site.xml和hdfs-site.xml传输到win...

win+idea连接Hadoop（非maven）（包含mapreduce）

BangLiSang的博客

10-21

319

整理一下以前的思路，自用将Hadoop包解压到本地硬盘中添加环境变量HADOOP_HOME 追加path变量 Windows下缺少winutils.exe和hadoop.dll文件前往GitHub下载对应Hadoop版本的文件将下载的所有的文件放到HADOOP_HOME/bin下即可在idea创建普通Java项目导入\hadoop\share\hadoop文件夹下的jar包（主要为每个子文件夹中以及所有lib文件夹中）至此可以连接Hadoop下面是配置mapre

Windows下使用IDEA+Maven搭建本地Hadoop环境

qq_42582489的博客

12-03

2255

IDEA结合Maven搭建本地MapReduce环境文章目录IDEA结合Maven搭建本地MapReduce环境前言环境配置Maven新建项目初始化添加apache源添加Hadoop依赖前言 Hadoop的开发中需要很多的依赖包，相互之间的关系较为复杂，依赖包之间复杂的关系就导致了搭建Hadoop的过程中会遇到各种报错，费心费神还调试不好，真是让人苦恼。 Maven是一个依赖管理和项目构建的工...

Maven——win10配置maven环境变量

二郎神的博客

01-08

891

Maven包地址:maven地址点击下载，将下载好的压缩包解压到任意目录下开始配置右键我的电脑→属性→高级系统设置→环境变量在系统变量（S）下单击“新建”按钮，弹出新建系统变量对话框，分别填写变量名：M2_HOME和变量值：解压maven的目录，可通“浏览目录”按钮选中，单击“确定”按钮。在系统变量（S）下找到变量名为：path，双击path，弹出编辑环境...

Maven--多环境开发配置与应用

PeterLee3333的博客

06-02

210

使用多环境mvn 指令 -P 环境定义id方法一（弊端：调过了所有测试）方法二 mvn 指令-D skipTests

maven介绍及环境环境搭建

qq_43220836的博客

06-15

354

maven介绍及环境环境搭建一、Maven 简介是 Apache 下的一个纯 Java 开发的开源项目。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。 Maven 是一个项目管理工具，可以对 Java 项目进行构建、依赖管理。二、Maven 功能 Maven 能够帮助开发者完成以下工作： · 构建 · 文档生成 · 报告 · 依赖 · SCMs ·

Maven简介及环境搭建和基本使用（Java开发中的实用工具）

2301_77523019的博客

01-04

2700

介绍了Maven的环境搭建和基本操作

配置MAVEN环境

2302_77971734的博客

03-15

8761

配置Maven环境先来介绍一下mavenMaven 是一个流行的构建工具和依赖管理工具，用于管理 Java 项目的构建、发布和依赖。它提供了一个标准化的项目结构、构建生命周期和插件体系，使开发人员能够更轻松地构建和管理复杂的 Java 项目。下面是 Maven 的一些关键概念：项目对象模型（Project Object Model，POM）：Maven 项目的核心是一个名为 POM 的 XML 文件。POM 文件描述了项目的元数据、依赖关系、构建配置和插件等信息。

Maven安装和开发环境配置

GPFXTX的博客

09-16

670

安装maven之前请先确保已经安装配置过JAVA环境,，可以去https://blog.youkuaiyun.com/GPF19950411/article/details/79428997 浏览软件准备和安装：请到http://maven.apache.org/download.cgi 下载最新版本的maven，或者去https://download.youkuaiyun.com/download/g...

Maven配置环境变量