windows 下在idea中用java访问hadoop的环境配置

最新推荐文章于 2024-02-06 12:07:39 发布
原创 最新推荐文章于 2024-02-06 12:07:39 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何在Windows环境下配置Hadoop环境变量，并将Hadoop集成到IntelliJ IDEA中，包括下载Hadoop和winutil，设置环境变量，以及在IDEA中导入Hadoop包等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、下载hadoop并设置环境变量

HADOOP_HOME=F:\path_to\hadoop 
在Path环境变量后追加 ;%HADOOP_HOME%\bin 
2、下载winutil，并把winutils.exe和hadoop.dll文件复制到bin目录下

3、在idea中新建一个项目，导入hadoop包

步骤：右键项目名称->open moudle setting->点击右中上角“+”号选择1.JAR or D....

选择hadoop安装目录选择hadoop/share/hadoop 全选该目录下的所有目录以及common下的lib

包

 

 

使用Java API操作Hadoop环境搭建
ronaldo1994的博客
08-03 1371
本教程演示均为windows环境下的操作，使用unix/linux系统请绕道。 首先，在服务器上部署安装好Hadoop，下载安装包传送门hdp下载地址，在这里不再过多演示。 配置windows中的Hadoop环境 1.将linux服务器上部署的Hadoop安装包下载一份到windows下，保证是英文安装目录。 2.配置系统环境变量，这里以hadoop2.6.5为例。实际配置中请替换成自己的版本。 3.在系统Path变量中添加 4.下载相关依赖包，传送门winutils地址 然后将对..
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
配置hadoop环境变量
myz的博客
04-22 3592
export JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
【爬坑】在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案
asdfgh0077的博客
03-26 445
【爬坑】在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案
eclipse中添加jar包后运行时提示noclassdeffounderror_老师，IDEA如何在本地运行和调试Hadoop程序？...
weixin_39612332的博客
11-28 266
作者：Tong ZHAN来源：https://www.polarxiong.com/前言Hadoop可以运行在三种模式下：单机模式伪分布模式完全分布式模式相信初学者入门Hadoop的第一堂课就是伪分布模式Hadoop系统的安装，相信一定是血泪史各种翻教程各种重装。而实际上，基于Hadoop的MapReduce程序在单机上运行，并不一定需要安装伪分布模式Hadoop系统，甚至，并不一定需要安装Had...
ETL学习-IDEA配置（java、maven）、IDEA连接（Hadoop、yarn、Spark）
chy0315的博客
05-04 2374
一、准备：项目前期已配置好环境及必需软件 项目前期的准备工作可参照：ETL学习-软件安装（Tomcat、Nginx、Hadoop、Zookeeper）自启动管理：ETL学习-软件自启动管理（nginx、tomcat、zookeeper、root用户免密连接） 二、IDEA配置java环境 使用IntelliJ IDEA 配置JDK（入门） 三、IDEA配置Maven环境 使用IntelliJ IDEA 配置Maven（入门） 四、S...
Hadoop——使用idea+maven开发Hadoop项目入门
Stay Hungry Stay Foolish
02-26 3949
我们这里使用windows系统作为开发系统 首先保证已在Linux中正确开启Hadoop集群，然后要在windows的环境变量里新加一个变量HADOOP_USER_NAME，值为集群里开启Hadoop服务的账户，笔者在服务器中用root用户使用的start-dfs.sh，所以这里的值为root。 然后我们将Hadoop的两个配置文件core-site.xml和hdfs-site.xml传输到win...
在Java开发环境中运行wordcount程序
rqp123456的博客
08-17 555
1 MapReduce介绍 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自身默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1.2 MapReduce核心思想 （1）分布式的运算程序往往需要分成至少2个阶段。 （2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 （3）第二个阶段的ReduceTask并发
Windows下搭建PySpark环境
qq_42582489的博客
06-05 2505
WIndows下搭建PySpark环境 文章目录WIndows下搭建PySpark环境前言方法一安装单机版Hadoop安装单机版SparkPySpark环境整合方法二测试PySparkPySpark运行简单实例参考文章 前言 现阶段的实验需要用到 PySpark 来搭建机器学习模型，正常情况下应该是在 Linux 系统上是进行搭建。然而在虚拟机的 Linux 上运行起来又实在是太慢，所以只能将就着在 Windows 系统上搭建 PySpark 的环境先使用着。 这里介绍两种搭建 PySpark 环境的方法：
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
Hadoop2.7.7配合使用的winutil
08-22
用来覆盖hadoop2.7.7里的bin的。先搭建好java环境，再下载hadoop 2.7.7，再解压本文件，覆盖在hadoop2.7.7的bin目录下（其他hadoop版本没试过）
【学习历程】04 win10下IDEA连接Linux上的Hadoop集群
Aries1Chan的博客
08-16 2344
     如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。 一、环境准备 1、jdk1.8 2、idea2019 3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2 二、win10上安装hadoop环境 1、下载hadoop包 网站链接： https://archive.apache.org/dist/hadoop/common/ 本文下载版本为：hado
在CentOS上部署ASP.NET Core
流星之光的专栏
10-15 1883
vmware虚拟机安装 vmware哪里下载？360软件管家就可以下载。然后网上找个序列号。 我这里安装的是12.1.1 安装很简单一直下一步就好了。 CentOS7.3安装 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/我们可以选择163或阿里云的节点，速度会快点。 下载完成后打开vmware准备安装 菜鸟可以选择有界面的 选好后然后开始安装，然后设置密码，然后重启就好了。 Windows的客户端软件 下载安装Xshel..
在 Windows 上使用 Idea 本地调试 Hadoop 程序
暗号是什么
12-05 1804
1 配置 windows 上的 Hadoop 环境变量在 windows 上配置 Hadoop 需要第三方编译的 windows 的二进制文件，该文件在 GitHub 上可以找到 windows-hadoop-winutils，在 wiki - Problems running Hadoop on Windows 上可以看到官方对此的解释。所以我们在官网下载 Hadoop-2.8.1，并且下载上文提
关于IDEA出现报错： java.io.FileNotFoundException HADOOP_HOME and hadoop.home.dir are unset
a10534126的博客
04-28 4137
今天在跑wc的时候，代码仔细确认很多遍没有问题，但就是一直报错如下： Exceptioninthread"main"java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset.-seehttps://wiki.apache.org/hadoop/WindowsProblems atorg.apache.hadoop.ut
Hadoop-IDEA开发平台搭建
最新发布
Snower_2022的博客
02-06 4712
添加配置文件后，在页面又上角有个M图标，可以点击下，会自动刷新，之后需要从Maven仓库依赖 dependency；hadoop102:8020 --- 需要在服务器端打开Hadoop，之后才能运行刚刚创建的类。1）hadoop-3.3.5 将下载的文件保存到英文路径下，名称一定要短。junit插件 - test 插件 2）添加org.slf4j --日志。-- 一定要把下面的这个scope注释掉-->，若没有报错，一闪而过，就可以了。3）我的电脑-属性-高级设置-环境变量。
本地报 HADOOP_HOME and hadoop.home.dir are unset 错误处理
戴着红领巾走世界
07-20 3828
在本地idea上运行Hadoop相关服务，控制台打印出此错误“HADOOP_HOME and hadoop.home.dir are unset”，这是由于在本地Windows系统配置hadoop环境就会报此错误。 第一步：下载winutils-master.zip 蓝奏云：https://www.lanzous.com/i55ccnc 对照你自己版本选择合适的插件。 第二步：配置window上环境变量 1、新建HADOOP_HOME系统变量 2、在path变量添加新建的变量路径 然后，重启idea，
IDEA配置Hadoop环境-非maven配置版（图文详细）
编程世界中最大的敌人就是自己，而心态才是制胜点。
10-31 6007
IDEA配置Hadoop环境-非maven配置版（图文详细）
java使用idea操作HDFS
m0_48830183的博客
10-10 2807
java和hdfs
Hadoop 2.7.4 在Windows下Java开发环境配置指南
该资源为Windows环境下的Java开发者提供了一个基本的Hadoop配置方法，涵盖了从解压缩文件到设置环境变量以及安装必需的动态链接库文件的完整步骤。通过这种方式，开发者可以在Windows系统上开始他们的Hadoop编程之旅...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值