windows 下在idea中用java访问hadoop的环境配置

最新推荐文章于 2022-05-04 21:27:22 发布
最新推荐文章于 2022-05-04 21:27:22 发布
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 后台 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HZRun/article/details/88798246
本文介绍如何在Windows环境下配置Hadoop环境变量，并将Hadoop集成到IntelliJ IDEA中，包括下载Hadoop和winutil，设置环境变量，以及在IDEA中导入Hadoop包等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、下载hadoop并设置环境变量

HADOOP_HOME=F:\path_to\hadoop 
在Path环境变量后追加 ;%HADOOP_HOME%\bin 
2、下载winutil，并把winutils.exe和hadoop.dll文件复制到bin目录下

3、在idea中新建一个项目，导入hadoop包

步骤：右键项目名称->open moudle setting->点击右中上角“+”号选择1.JAR or D....

选择hadoop安装目录选择hadoop/share/hadoop 全选该目录下的所有目录以及common下的lib

包

 

 

使用Java API操作Hadoop环境搭建
ronaldo1994的博客
08-03 1369
本教程演示均为windows环境下的操作，使用unix/linux系统请绕道。 首先，在服务器上部署安装好Hadoop，下载安装包传送门hdp下载地址，在这里不再过多演示。 配置windows中的Hadoop环境 1.将linux服务器上部署的Hadoop安装包下载一份到windows下，保证是英文安装目录。 2.配置系统环境变量，这里以hadoop2.6.5为例。实际配置中请替换成自己的版本。 3.在系统Path变量中添加 4.下载相关依赖包，传送门winutils地址 然后将对..
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
配置hadoop环境变量
myz的博客
04-22 3592
export JAVA_HOME=/usr/local/jdkexport HADOOP_HOME=/usr/local/hadoopexport PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
【爬坑】在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案
asdfgh0077的博客
03-26 445
【爬坑】在 IDEA 中运行 Hadoop 程序 报 winutils.exe 不存在错误解决方案
eclipse中添加jar包后运行时提示noclassdeffounderror_老师，IDEA如何在本地运行和调试Hadoop程序？...
weixin_39612332的博客
11-28 266
作者：Tong ZHAN来源：https://www.polarxiong.com/前言Hadoop可以运行在三种模式下：单机模式伪分布模式完全分布式模式相信初学者入门Hadoop的第一堂课就是伪分布模式Hadoop系统的安装，相信一定是血泪史各种翻教程各种重装。而实际上，基于Hadoop的MapReduce程序在单机上运行，并不一定需要安装伪分布模式Hadoop系统，甚至，并不一定需要安装Had...
ETL学习-IDEA配置（java、maven）、IDEA连接（Hadoop、yarn、Spark）
chy0315的博客
05-04 2374
一、准备：项目前期已配置好环境及必需软件 项目前期的准备工作可参照：ETL学习-软件安装（Tomcat、Nginx、Hadoop、Zookeeper）自启动管理：ETL学习-软件自启动管理（nginx、tomcat、zookeeper、root用户免密连接） 二、IDEA配置java环境 使用IntelliJ IDEA 配置JDK（入门） 三、IDEA配置Maven环境 使用IntelliJ IDEA 配置Maven（入门） 四、S...
Hadoop——使用idea+maven开发Hadoop项目入门
Stay Hungry Stay Foolish
02-26 3948
我们这里使用windows系统作为开发系统 首先保证已在Linux中正确开启Hadoop集群，然后要在windows的环境变量里新加一个变量HADOOP_USER_NAME，值为集群里开启Hadoop服务的账户，笔者在服务器中用root用户使用的start-dfs.sh，所以这里的值为root。 然后我们将Hadoop的两个配置文件core-site.xml和hdfs-site.xml传输到win...
在Java开发环境中运行wordcount程序
rqp123456的博客
08-17 553
1 MapReduce介绍 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自身默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 1.2 MapReduce核心思想 （1）分布式的运算程序往往需要分成至少2个阶段。 （2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。 （3）第二个阶段的ReduceTask并发
Windows下搭建PySpark环境
qq_42582489的博客
06-05 2504
WIndows下搭建PySpark环境 文章目录WIndows下搭建PySpark环境前言方法一安装单机版Hadoop安装单机版SparkPySpark环境整合方法二测试PySparkPySpark运行简单实例参考文章 前言 现阶段的实验需要用到 PySpark 来搭建机器学习模型，正常情况下应该是在 Linux 系统上是进行搭建。然而在虚拟机的 Linux 上运行起来又实在是太慢，所以只能将就着在 Windows 系统上搭建 PySpark 的环境先使用着。 这里介绍两种搭建 PySpark 环境的方法：
Spark在Windows下的环境搭建
热门推荐
大气人生
10-19 13万+
由于Spark是用Scala来写的，所以Spark对Scala肯定是原生态支持的，因此这里以Scala为主来介绍Spark环境的搭建，主要包括四个步骤，分别是：JDK的安装，Scala的安装，Spark的安装，Hadoop的下载和配置。为了突出”From Scratch”的特点（都是标题没选好的缘故），所以下面的步骤稍显有些啰嗦，老司机大可不必阅读，直接跳过就好。
Hadoop2.7.7配合使用的winutil
08-22
用来覆盖hadoop2.7.7里的bin的。先搭建好java环境，再下载hadoop 2.7.7，再解压本文件，覆盖在hadoop2.7.7的bin目录下（其他hadoop版本没试过）
【学习历程】04 win10下IDEA连接Linux上的Hadoop集群
Aries1Chan的博客
08-16 2344
     如果要在windows下连接虚拟机上的Hadoop集群,就必须要保证windows下有java环境和hadoop环境。 一、环境准备 1、jdk1.8 2、idea2019 3、Linux上hadoop集群，版本为hadoop2.6.0-cdh5.14.2 二、win10上安装hadoop环境 1、下载hadoop包 网站链接： https://archive.apache.org/dist/hadoop/common/ 本文下载版本为：hado
基于windows，IDEA配置hadoop运行环境遇到的问题和解决（null\bin\winutils.exe）
LiangEdward的博客
06-19 700
一、先上我遇到的问题描述： 1.在IDEA工具上运行一个基于Hadoop的代码时候报如下错误： 二、再发段牢骚： 1.由于目前所在的公司为保险类型的公司，也许是对内部资料安全特别重视，而在公司内部电脑上居然不能配置系统变量； 2.各种外部的网页也访问不了，给后面下载资料和查找解决办法都带来恩多没必要的麻烦； 三、最后上解决办法： 1.第一次是按照网上某说法下载了个hadoop-common-2.2.0-bin...
Hadoop3.3.1详细教程（七）Java操作HDFS
Java朱老师博客
08-26 1765
本文及讲解，在windows下开发。 1.在windows下解压hadoop，在etc/hadoop中的hadoop.env.cmd修改以下值 set JAVA_HOME="C:\PROGRA~1\Java\jdk1.8.0_102" 2.将winutils.exe、hadoop.dll放到hadoop\bin下 如果运行时报以下异常： Exception in thread "main" java.lang.RuntimeException: java.io.FileNotFoundException:
IDEA下配置Hadoop Mapreduce开发环境并实现本地运行
Grey0125的博客
04-08 3058
IDEA下配置Hadoop开发环境 配置环境变量 系统环境变量添加HADOOP_HOME，指向hadoop目录的根目录，如 F:\hadoop-2.7.7 对环境变量PATH追加：%HADOOP_HOME%\bin 将变量JAVA_HOME路径中的Program file换成PROGRA~1（空格识别不了） 配置好环境变量后，需要重启软件才能生效。因此需要将IDEA关闭后重新打开，才能正确识别刚刚配置的环境变量。 导入集群配置文件 把Hadoop主机的core-site.xml、hdfs-site.
IDEA配置hadoop依赖jar包（非Maven）
Juuunn的博客
03-26 7469
作者新手小白，仅为学习&交流 2020年3月26日22:12:29 开发环境 OS： Win10 Hadoop版本： hadoop-3.1.2 IDE： Intelij IDEA 2019.3.3 Hadoop Path： E:\Hadoop\Hadoop\hadoop-3.1.2\hadoop-3.1.2 Win本地安装hadoop 1.讲搭建hadoop平台时的.tar.gz文件直接解...
在CentOS上部署ASP.NET Core
流星之光的专栏
10-15 1882
vmware虚拟机安装 vmware哪里下载？360软件管家就可以下载。然后网上找个序列号。 我这里安装的是12.1.1 安装很简单一直下一步就好了。 CentOS7.3安装 下载CentOShttp://isoredirect.centos.org/centos/7/isos/x86_64/我们可以选择163或阿里云的节点，速度会快点。 下载完成后打开vmware准备安装 菜鸟可以选择有界面的 选好后然后开始安装，然后设置密码，然后重启就好了。 Windows的客户端软件 下载安装Xshel..
在 Windows 上使用 Idea 本地调试 Hadoop 程序
暗号是什么
12-05 1804
1 配置 windows 上的 Hadoop 环境变量在 windows 上配置 Hadoop 需要第三方编译的 windows 的二进制文件，该文件在 GitHub 上可以找到 windows-hadoop-winutils，在 wiki - Problems running Hadoop on Windows 上可以看到官方对此的解释。所以我们在官网下载 Hadoop-2.8.1，并且下载上文提
在idea中搭建hadoop运行环境
qq_43742526的博客
07-25 5713
今天我将为大家讲解一下如何使用idea搭建Hadoop运行环境，它一共有一下几个步骤： （1）、下载hadoop jar包 根据自己电脑的操作系统到官网下载hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） （2）、配置HADOOP_HOME环境变量 （3）、配置Path环境变量 4．创建一个Maven工程HadoopDemo 5．在pom文件中导入相应的依赖坐标+日志添加 <dependencies> <dependency
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值