Hadoop学习8：HDFS客户端环境准备(hadoop3.1.3)

Windows 10配置Hadoop 3.1.2：环境搭建与问题解决
原创 于 2021-12-05 22:18:18 发布 · 872 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

本文指导如何在Windows 10环境下安装Hadoop 3.1.2版本，包括下载、环境变量配置，以及常见问题的解决方案，适合初学者入门。

1 说明

需要在windows 10中使用HDFS,因而需要在Windows 10中配置hadoop相关的环境

官网下载的包在windows下解压后不存在winutils并且github码云上目前也是没有3.1.3版本的包，以下内容为原内容配置的是3.1.3，建议使用3.1.2。hadoop3.1.2下载地址

2 hadopp3.1.3下载

hadoop3.1.3下载

直接下载tar.gz文件解压即可，在Linux平台上也是用这个，但是Hadoop是基于Java的，基于JVM进行跨平台，所以有都是可以用的

3 环境变量配置

  1. 配置HADOOP_HOME变量
    在这里插入图片描述
  2. 在PATH添加如下项
    在这里插入图片描述
  3. 使用hadoop version验证
    在这里插入图片描述
    可能会出现以下问题：具体参考这里：Hadoop学习问题4：Windows10配置hadoop后使用hadoop命令失败问题
    在这里插入图片描述
07 - HDFS客户端环境准备、HDFS的API操作、HDFS的I/O流操作
花&败
05-28 895
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=kgf，kgf为用户名称。合并完成后，将hadoop-3.1.3.tar.gz.part1重新命名为hadoop-3.1.3.tar.gz。在Window命令窗口中进入到目录E:\，然后执行如下命令，对数据进行合并。将hdfs-site.xml拷贝到项目的根目录下。（1）客户端代码中设置的值 >（3）然后是服务器的默认配置。
HDFS客户端环境准备
DONGbala_A的博客
04-26 279
HDFS客户端环境准备，仅供参考
客户端操作 1.环境准备
weixin_30914981的博客
08-15 178
HDFS客户端操作 1.HDFS客户端环境准备 　　1．根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2），如图所示。 　　 　　　　　　　　　　　　图编译后的hadoop jar包 　　2．配置HADOOP_HOME环境变量，如图所示。 　　 　　　　　　　　　　　　图配置...
hadoop(客户端环境准备)
weixin_43801718的博客
03-10 302
1.根据自己电脑的操作系统环境拷贝对应编译后的hadoop.jar包到非中文路径 例如：D:\Develop\hadoop-2.7.2 2.配置HADOOP_HOME环境变量 3.配置Path环境变量 4.在idea中创建一个Maven工程HdfsClientDemp 5.导入相应的依赖坐标+日志添加 <dependencies> <dependency> ...
精选资源
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
qq_38147044的博客
09-19 1099
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
精选资源
大数据 hadoop-3.1.3 linux 安装包
06-25
总之，Hadoop-3.1.3在Linux上的安装和配置是一个系统性的过程，涵盖了Java环境的准备、Hadoop配置文件的修改、服务的启动和测试等多个环节。这个过程不仅帮助我们理解Hadoop的基本原理，也为实际的大数据处理任务...
精选资源
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
hadoop之HDFS客户端操作---HDFS客户端环境准备
@小刘同学nice
04-01 623
HDFS客户端环境准备 根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） 配置HADOOP_HOME环境变量 配置Path环境变量 创建一个Maven工程HdfsClientDemo导入相应的依赖坐标+日志添加 <dependencies> <dependency>...
【Hadoop学习之HDFS】_07HDFS客户端环境准备
qq_40947493的博客
02-02 445
文章目录一、下载Hadoop jar包至非中文路径二、配置Hadoop环境变量三、创建一个Maven工程 一、下载Hadoop jar包至非中文路径 下载链接：https://hadoop.apache.org/releases.html 解压至非中文路径 二、配置Hadoop环境变量 配置HADOOP_HOME环境变量 配置Path环境变量 三、创建一个Maven工程 ...
【3.1】HDFS客户端操作之HDFS客户端环境准备
weixin_43958974的博客
02-22 419
一. HDFS客户端环境准备 HDFS客户端环境准备 （1）根据 自己电脑的操作 系统拷贝对应 的 编译 后的 hadoop jar包 到 非中文路径（ 例如 D:\Develop\hadoop-2.7.2）。 （2）配置 HADOOP_HOME环境变量 （3）配置 Path环境 变量 （4）创建一个 Maven工程 HdfsClientDemo （5）导入相应的依赖坐标+日志添加 （...
HDFS客户端操作1 开发环境准备
Auraros的博客
10-13 341
HDFS客户端操作1 开发环境准备 更多整理都在我的github上：Auraros欢迎大家。 HDFS客户端操作，首先需要配置好发开环境，在这里做客户端idea连接hadoop 具体步骤 将下载的hadoop-2.6.0.rar压缩包解压 增加系统变量HADOOP_HOME，变量值为hadoop-2.6.0.rar压缩包解压所在的目录 在系统变量中对变量名为PATH的系统变量追加变量值，变量值为 %HADOOP_HOME%/bin 解压下载的winutils，找到对应或邻近版本的Had
hadoop客户端环境搭建
weixin_42780784的博客
03-11 699
根据尚硅谷教程来配置maven与hadoop 视频地址：尚硅谷教程 根据尚硅谷的教程来的，结果还是花了一上午，写下这篇配置记录，供有相同问题的同学交流： 首先需要win10下编译过的hadoop，这个就花了一个多小时去找，最终在尚硅谷官网找到安装包，下载又花了一晚上。供上网盘链接：https://pan.baidu.com/s/1FZE3w766ILHfJQj0qWp0dQ 提取码：33wp ...
HDFS Java 客户端使用(Windows开发环境)
当幸福来敲门的专栏
12-02 836
1.加入依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-client&lt;/artifactId&gt; &lt;version&gt;2.6.4&lt;/version&gt; &
Hadoop--HDFS的API环境搭建、在IDEA里对HDFS简单操作
weixin_44976835的博客
03-28 1800
在windows系统安装hadoop 首先下载hadoop：hadoop-3.1.4.tar.gz 解压到C:\Hadoop目录下 然后下载winutils：https://github.com/cdarlint/winutils：3.0版本 然后将winutils3.0版本中的bin目录替换解压出的hadoop-3.1.4目录下的bin目录 然后配置环境变量：HADOOP_HOME 然后将Hadoop-3.1.4的bin和sbin目录配置到PATH中： 此时Hado
用API实现对HDFS的操作（1）Hadoop集群的HDFS客户端环境准备
zytmaster的博客
03-01 497
jar包准备： 1.解压 hadoop-2.7.6.tar.gz 到非中文目录 2.进入 share 文件夹，查找所有 jar 包，并把 jar 包拷贝到_lib 文件夹(新建的，可与解压出的hadoop-2.7.6.tar.gz放到同一个文件夹下，方便管理）下 3.在全部 jar 包中查找 sources.jar，并剪切到_source 文件夹(新建的，可与解压出的...
使用API操作HDFS（一）准备客户端环境
qq_39245001的博客
08-03 372
使用API操作HDFS（一）准备客户端环境 安装所需的软件 链接：https://pan.baidu.com/s/1yTr-8JQlWTD2MKy6ujaDeQ 提取码：vwuw 安装过程 jdk安装 本次是采取默认安装的，可以根据自己的需求进行安装。 Hadoop安装 Hadoop-2.9.2安装包解压到非中文路径即可 解压之后将文件 winutils.exe 放到 bin目录下即可 配置环境变量 jdk与Hadoop的环境变量都要配置 验证环境变量 创建新的 Mave
Hadoop实验：HDFS操作与Java API实战
实验环境设定为Linux系统，使用Hadoop 3.1.3、JDK 1.8以及Eclipse作为开发工具。 实验内容分为两个主要部分： **1. 使用Hadoop Shell命令操作HDFS** - **上传文件**：学生需要编写程序，能将本地文本文件上传至...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值