WIN10配置Hadoop+IDEA+Maven开发环境

小基基o_O 小基基o_O 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 900+累计阅读 946平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-09-20 09:22:00 发布 946 阅读 AI 写同款· GEO 优化 ›
Intellij idea下hadoop的开发环境搭建和相应的编程实践（HDFS） 开篇 先简单描述一下这边博客主要要讲的内容，首先是配置idea可以编写hadoop的程序，然后是一个操作hdfs的小程序演示。 Hadoop的搭建 一直跟随的是厦门大学林老师的课程，这边是hadoop的搭建教程的链接，我是用自己的机子搭建的单机伪分布式。所以下面的一些操作都是适用于单机伪分布式的。 idea开发环境的搭建 这边需要我们做的是两件事，导入jar包，林老师的教程就让我导入了两... 阅读详情

Hadoop版本：3.1.3

Windows下使用IDEA+Maven搭建本地Hadoop开发环境

0、安装和配置IDEA+Maven

https://yellow520.blog.youkuaiyun.com/article/details/115352475

1、Hadoop环境变量

  1. 控制面板\系统和安全\系统->高级系统设置->环境变量->系统变量
  2. HADOOP_HOME设置值D:\coding\hadoop
  3. Path加入%HADOOP_HOME%\bin

2、下载并解压Hadoop

下载压缩包，然后解压
https://download.youkuaiyun.com/download/Yellow_python/16672738

解压到上述和环境变量一样的路径D:\coding\hadoop

3、pom.xml 加入 Hadoop依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
</dependency>
收录于
Hadoop

当前文章被收录于：

Hadoop
24 篇文章 3 人学习

Linux、Hadoop、ZooKeeper

订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
在IDEA中创建maven项目编写java代码操作HDFS集群 一、安装win10编译过的hadoop 1、将编译好的hadoop包放在非中文目录 2、配置HADOOP_HOME环境变量 3、将hadoop包的bin目录加到PATH环境变量中 二、在idea中创建一个maven项目 1、创建maven项目 2、导入相应的依赖坐标+日志添加 在pom.xml文件中添加： <dependencies> <dependency> ... 阅读详情

相关推荐

Intellij IDEA远程向虚拟机hadoop集群提交作业(好多坑)

最近在学习数据分析，用到了hadoop和spark。之前在虚拟机配置好了hadoop集群，今天想尝试一下在win10环境下，利用 IDEA 远程向虚拟机上的hadoop集群提交作业（以WordCount为例） 一： 环境以及准备工作： win10 + IntelliJ IDEA 2017.1.6 + hadoop 2.8.0 注意：hadoop在虚拟机和本地都要安装，安装步骤二者几乎一样，就...

messenger 1991

win10下用IDEA+Hadoop运行时的环境搭建

构建win10下用IDEA运行Hadoop程序 本地解压hadoop安装包： 如图 2.将hadoop添加到环境变量中 在Path变量中添加 [外链图片转存失败(img-1NtPRFvX-1567778520881)(image007.png)] 下载winutils工具,将bin目录覆盖到解压的hadoop安装包中 3.在IDEA中构建新项目： 注意：IDEA必须下载专业版 打开之后：...

普通Gopher 1976

免费搞定DWG转DXF：ODA File Converter保姆级配置指南（附常见报错解决）

本文详细介绍了如何使用ODA File Converter免费工具实现DWG到DXF的格式转换，包括环境配置、命令行参数解析、编程集成方案及常见问题解决。特别针对网络访问异常、参数配置等实际痛点提供应对策略，帮助用户高效完成工程设计文件的格式转换。

weixin_29291185的博客 6061

win10 Intellij idea开发Hadoop MapReduce程序单机测试

测试《Hadoop权威指南》第二章的天气例子 环境;win10,JDK1.8,Intellij idea,hadoop2.7.2

机器人、嵌入式工程师 4532

ubuntu通过qemu安装银河麒麟V10_Arm_v8 (kylin_v10_飞腾/鲲鹏版)

一、windows下安装vmware虚拟机 二、ubuntu下载地址 https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/20.04/ubuntu-20.04.3-live-server-amd64.iso 三、vmware中新建虚拟机，并使用ubuntu-20.04.3-live-server-amd64.iso作为启用盘 。。。在虚拟机中安装ubuntu(略) 四、配置ssh（如果ssh登录不上时配置） 修改openssh的配置 vi /etc/s

u010533742的博客 8706

【Docker】从零构建达梦DM8轻量级服务镜像：实战与优化

本文详细介绍了从零开始构建达梦DM8轻量级Docker镜像的完整实战流程。通过分析传统安装方式的痛点，阐述了使用Docker封装数据库的优势，并重点讲解了如何利用静默安装、精简组件、多阶段构建等优化技巧，打造一个体积小巧、启动迅速、配置灵活的DM8服务镜像，助力实现开发、测试与部署的环境一致性与高效性。

ooo22的博客 522

Windows系统使用IntelliJ IDEA 搭建Hadoop的开发调试环境（一）

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34013044的博客 843

MIPS-5级流水线CPU

一、流水线CPU 流水线CPU就是指将一条分解为多步，在同一周期内进行多条指令的同时执行。MIPS五级流水线就是将指令分为：取指(IF)，译码(ID)，执行(EX)，访存(MEM)，写回(WB)五个阶段。举个例子： 比如第二条指令lui $t2,0x2100 在流水线CPU中执行的就是 可以看到在200-300ns的周期里，IF阶段取到0x00400004处的指令，300-400ns，这条指令到了ID阶段，而IF阶段执行下一条指令。400-500ns，执行这条指令，ALU的结果为0x2100

weixin_43877853的博客 2万+

IntelliJ IDEA快速搭建Hadoop开发环境

本文介绍了使用IntelliJ IDEA配置HDFS API开发环境的步骤。首先需要下载安装IntelliJ IDEA（社区版或专业版），创建Maven项目（JDK 1.8），然后在pom.xml中配置Hadoop相关依赖包（3.1.4版本）。文章详细说明了如何编写HDFS操作类，包括初始化HDFS客户端、文件上传下载、目录创建/删除/重命名等功能的实现代码，并提供了完整的HDFS_Test类代码示例，展示了通过JUnit测试HDFS基本操作的方法。

成长始于好奇心 - Growth Through Curiosity 1056

腾讯Octop：Windows本地AI助手一键安装实战指南

本地AI助手是面向普通用户在个人设备上运行大语言模型的轻量级解决方案，其核心原理在于封装模型加载、推理调度与Web交互等底层复杂性，通过预编译运行时、自适应硬件加速和图形化配置降低使用门槛。技术价值体现在免环境依赖、离线可用、开箱即用，显著提升非开发者在专利撰写、文案生成、技术文档处理等办公场景中的生产力。本文聚焦Windows平台下的腾讯Octop工具，结合qwen2-7b-instruct、phi-3-mini等主流GGUF量化模型，详解安装适配、API集成与专利辅助工作流，覆盖从零部署到工程落地的完整

weixin_29055137的博客 309

AI智能体在化学中的伦理问题：7个案例，架构师如何应对？

AI在化学中的应用早已不是新鲜事：药物发现中用AI预测分子活性（比如AlphaFold预测蛋白质结构）、化工生产中用AI优化合成路线（降低成本30%+）、材料研发中用AI设计新型电池材料（缩短研发周期5年）……但随着AI从“辅助工具”升级为“自主决策智能体”（比如能自动调整反应条件的“化学机器人”），伦理风险开始从“潜在隐患”变成“真实事故”。AI在化学中会踩哪些伦理“坑”？（用案例具象化）这些“坑”的底层逻辑是什么？（从技术到价值观的链条）架构师能做什么？

AI 算法实战派 1364

[1.0.2] 详解基于maven管理-scala开发的spark项目开发环境的搭建与测试

场景 好的，假设项目数据调研与需求分析已接近尾声，马上进入Coding阶段了，辣么在Coding之前需要干马呢？是的，“统一开发工具、开发环境的搭建与本地测试、测试环境的搭建与测试” - 本文详细记录实际spark项目开发环境的搭建。 分析 开发工具 操作系统：win 10 JDK 版本 ：jdk1.8.0_91 SCALA版本：2.10.6 MAVEN版本：apache-...

Memory of Mr.Snail 3324

ImportError: DLL load failed while importing _pydantic_core: 找不到指定的程序对应解决方案

本文主要介绍了ImportError: DLL load failed while importing _pydantic_core: 找不到指定的程序对应解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 19万+

win 10 + maven + idea 15 + Hadoop 2.7.3开发环境配置

前言今天想在win 10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。步骤关于maven以及idea的安装这里不再赘述，非常简单。 在win 10上配置Hadoop 将Hadoop 2.7.3直接解压到系统某个位置，以我的文件名称为例，解压到E:\大数据平台\hadoop\hadoop-2.7.3中 配置HADOOP_HOME以及

Solo_sky 9545

VTK API 详解（134）：vtkOBJWriter - 写入 OBJ 模型

是 VTK 中用于将数据写入 Wavefront OBJ 文件格式的类。OBJ 格式是广泛支持的 3D 网格模型格式，支持顶点、面和基本几何信息的保存，便于模型在多种三维软件间交换。

yumeiguo的博客 140

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

win10本地调试spark并提交到虚拟机spark集群中(scala版本）

Win10环境准备： 1.1 jdk，scala，sbt安装 Jdk安装：1.8.0_191 Scala安装: 2.11.6 Sbt安装: 1.2.6 都是默认安装，建议跟自己spark集群中安装的版本一致，可以升级spark集群的版本。否则后续需要在intellij中修改兼容性。 这三个安装后找到此计算机->属性->高级系统设置，选择环境变量，然后添加这三者的环境变量，步骤...

mlnist的博客 2061

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

WIN10配置Spark+IDEA+Maven开发环境

发出火花的目录1、配置IDEA+Maven+Scala开发环境2、配置WIN10上Hadoop开发环境3、pom.xml 添加 Spark4、关联Spark源码5、日志等级修改6、试运行7、打包+提交到集群 1、配置IDEA+Maven+Scala开发环境 2、配置WIN10上Hadoop开发环境 log4j-core

ArYe 1463

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用，资源的后缀为tar.gz格式的压缩包

Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）

至此idea连接Hadoop集群配置完成，更多的操作可以通过Hadoop提供configuration类filesystem类、FSDataInputStream类和FSDataOutputStream类实现。有问题的朋友可以留言，我会及时回复我所能解决的问题，一些我安装时遇到的问题放在后面，大家可以浏览查看。

2201_75875170的博客 7020

IDEA配置hadoop依赖jar包（非Maven）

作者新手小白，仅为学习&交流 2020年3月26日22:12:29 开发环境 OS： Win10 Hadoop版本： hadoop-3.1.2 IDE： Intelij IDEA 2019.3.3 Hadoop Path： E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2 Win本地安装hadoop 1.讲搭建hadoop平台时的.tar.gz文件直接解...

Juuunn的博客 7706

win10配置hadoop和maven项目

win10配置hadoop和maven项目 一、配置hadoop环境 这里我用的是hadoop-2.7.6 链接: https://pan.baidu.com/s/1ejQ3rNok2busbFUUgX-sAQ 提取码: r8x9 1.解压hadoop-2.7.6.tar.gz到指定路径(自定义) 2.将hadoopBin.rar（链接里边的压缩文件）中的内容拷贝到hadoop的bin目录 3.配置hadoop的环境变量 4.安装idea（这边不做详细安装教程，可网上自行查找） 二、创建MAVEN项目

weixin_48588693的博客 421

Windows下使用IDEA+Maven搭建本地Hadoop环境

IDEA结合Maven搭建本地MapReduce环境 文章目录IDEA结合Maven搭建本地MapReduce环境前言环境配置Maven新建项目初始化添加apache源添加Hadoop依赖 前言 Hadoop的开发中需要很多的依赖包，相互之间的关系较为复杂，依赖包之间复杂的关系就导致了搭建Hadoop的过程中会遇到各种报错，费心费神还调试不好，真是让人苦恼。 Maven是一个依赖管理和项目构建的工...

qq_42582489的博客 2374

Win10+IDEA创建Maven并配置Scala

目录 1.在IDEA中新建Project-->Maven-->Next 2.GroupId一般写公司统一名称，ArtifactId写项目名称 -->Next 3.点击Finish 4.目录结构 5.解压apache-maven-3.3.9-bin.zip 6.打开conf中的settings.xml，修改本地仓库路径 7.在IDEA中打开File-->sett...

Muzi_Water的博客 1247

【学习历程】04 win10下IDEA连接Linux上的Hadoop集群

     如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。 一、环境准备 1、jdk1.8 2、idea2019 3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2 二、win10上安装hadoop环境 1、下载hadoop包 网站链接： https://archive.apache.org/dist/hadoop/common/ 本文下载版本为：hado

Aries1Chan的博客 2490

Win7+IDEA+Hadoop开发环境搭建

1.开发环境配置1.开发环境配置2.步骤 1.开发环境配置 IDEA：2019 hadoop:2.6.5 maven: 测试数据自己准备： 2.步骤 2.0 在C:/windows/System32/下添加 hadoop.dll 2.1 打开Idea新建maven工程 2.2 填写工程名字，选择磁盘目录 2.3 引入maven依赖（可以在maven官网上找到） <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://m

qq_22649725的博客 311

IDEA+maven构建hadoopMR开发环境

总结一下IDEA+maven构建的开发环境。 我的环境是WIN7(64位） hadoop2.8,3台虚拟机的hadoop集群，两个做datanode，一个nameNode. IDEA是2016.1 ,maven 3.9,java1.7 IDEA+maven 很简单了，跟着引导创建一个新maven项目就可以了。 下面是pom.xml [code="xml"] 4.0...

zxp209的专栏 1197

IDEA在WIN系统下搭建调试HADOOP3的MR调试环境

搭建可以调试hadoop3的MR程序本地环境。

Mickey_flY的博客 1558
上一篇： 大数据（0c）Hadoop概述
下一篇： HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}
点赞 1
评论 0
书签 书签 0
小基基o_O
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值