使用Java API从虚拟机hdfs文件系统下载文件出现的问题

Hadoop——HDFS文件系统的Java API操作 在面试前我整理归纳了一些面试学习资料,文中结合我的朋友同学面试美团滴滴这类大厂的资料及案例由于篇幅限制,文档的详解资料太全面,细节内容太多,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容!大家看完有什么不懂的可以在下方留言讨论也可以关注。《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!由于篇幅限制,文档的详解资料太全面,细节内容太多,所以只把部分知识点截图出来粗略的介绍,每个小节点里面都有更细化的内容! 阅读详情

代码如下:
package com.monkey1024;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;
import java.net.URI;

public class GetFile {
public static void main(String[] args) throws IOException {
String hdfspath=“hdfs://192.168.59.1:9000/user/root/input/words.txt”;
String localpath=“E:/copy_words.txt”;
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(hdfspath), conf);
Path hdfs_path = new Path(hdfspath);
Path local_path = new Path(localpath);
fs.copyToLocalFile(hdfs_path,local_path);
fs.close();
}
}

执行后出现如下错误:
java.io.IOException: (null) entry in command string: null chmod 0644

解决方法:
1.下载hadoop.dll文件

2.并拷贝到c:\windows\system32目录中

3.重新运行代码程序即可

Hadoop | HDFS 学习笔记(二)HDFS Java API 环境搭建 | Java操作HDFS文件系统 | 多案例 文章目录参考资料运行环境一、准备 HDFS Java API 环境1.1 在windows系统中准备Hadoop环境1.2 使本机连接集群节点1.2.1 域名映射1.2.2 路由转发1.3 使用 IDEA 创建 Maven 项目二、HDFS Java API 操作案例2.1 创建文件夹2.2 上传文件2.3 下载文件2.4 删除文件2.5 文件的更名和移动2.6 获取HDFS文件信息2.7 文件与文件夹的判断2.8 HDFS - API 配置参数优先级问题2.8.1 通过配置文件2.8.2 通过Config 阅读详情

相关推荐

Hadoop——HDFS文件系统的Java API操作,应届毕业生Java笔试题目

学习视频:由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Java)[外链图片转存中…(img-0zBQk0tr-1710963665436)]学习视频:[外链图片转存中…(img-FSvXXI8J-1710963665436)]大厂面试真题:[外链图片转存中…(img-SrHRvk3R-1710963665437)]本文已被。

m0_54816834的博客 1155

HDFS API 操作之文件下载、文件删除、文件名更改

文件下载 @Test public void testCopyToLocalFile() throws Exception { //1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf,...

小杨的技术博客 2万+

HDFS java API基本操作实验

本实验主要涉及到了4台虚拟机,其中1台虚拟机的操作系统是ubuntu desktop,另外3台虚拟机的操作系统是。本实验已经搭建好了Hadoop HA的完全分布式集群。

cj2328196870的博客 1411

java代码如何连接Linux虚拟机,还有文件上传下载,等基础命令

上一篇,基于Hutool包对数据库的增删改查操作 这里基于Hutool包下封装的工具类,对Linux连接,还有基本命令操作演示 一、工具包代码示例 此处是源代码的一部分,,完整代码在Github上 /** * Jsch工具类<br> * Jsch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。<br> * 它允许你连接到一个SS...

诗和远方,任重道远 4244

Java实现远程HDFS的文件操作(新建、上传、下载、删除)

通过java编程实现了远程HDFS的文件创建,上传,下载,删除等。Hadoop类库中最终面向用户提供的接口类是FileSystem,该类封装了几乎所有的文件操作,例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。

dcxhun3的博客 1万+

HDFS的Java API开发详解(文件的创建上传下载删除、IO流操作HDFS、小文件合并)

目录 一、准备工作 第一步:windows中的hadoop环境配置 第二步:创建maven工程并导入jar包 二、Java API开发实操 一、准备工作 windows操作系统需要配置一下hadoop环境 mac本质上是unix系统,不需要配置 第一步:windows中的hadoop环境配置 windows操作系统需要配置一下hadoop环境 mac本质上是unix系统,不需要配置 1. 解压Hadoop安装包压缩文件到一个没有中文没有空格的目录下,类.

weixin_43230682的博客 2650

hadoop java api下载文件_Java api 从hdfs上下载文件失败,报错null指针,怎么回事啊...

@Testpublic void copyToLocalFile() throws Exception {Path localPath = new Path("C:\\Users\\18811\\Desktop");Path hdfsPath = new Path("/hello.txt");fileSystem.copyToLocalFile(hdfsPath, localPath);}java...

weixin_30119469的博客 462

虚拟机安装Linux及下载Java

在虚拟机中安装了一个centos7系统,根据网上的教程,卸载自带的openJava,使用yum下载安装jdk1.7(无需配置环境变量)而后安装测试了tomcat(没有设置开机自启动)

调用JAVA API 对 HDFS 进行文件的读取、写入、上传、下载、删除等操作

更多大数据技术干货,欢迎关注“大数据技术进阶”微信公众号。 Hadoop文件系统基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例:public static ...

DF_XIAO的专栏 2万+

windows上传文件到虚拟机的hdfs上

org.apache.hadoop.security.AccessControlException: Permission denied: user=ASUS, access=WRITE, inode 今天在windows连接虚拟机的hdfs,通过IDEA上传文件到虚拟机的hdfs上,出现了权限不足问题,原因是以windows的用户上传文件,所以出错,原代码如下: package cn.edu.lingnan.hdfsclient; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSyst

展会客流统计的客流统计系统,WiFi客流每时每客

一般展会的举行时间都在3-7天之间,展会作为市场部门一项重要工作,一直以来没有一项有效的工具能够提供数据支持。 展会最重要的是通过活动和产品来吸引参展者的参观,如何统计展会期间的客流量呢?如何通过将数据转化成为活动数据的支撑呢? 目前成熟的解决方案有,视频客流统计、WiFi客流统计、红外线客流统计等方式。由于展会通常的时间都比较短,视频、红外线客流统计采购及安装价格都比较高,需

isentech的博客 3994

Hadoop——HDFS文件系统的Java API操作(上传、下载、查看、删除、创建文件)详细教学

如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学(正在持续更新中······) 首先,启动Hadoop集群服务 然后在浏览器访问Hadoop,点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的,没有任何的文件和文件夹,下面开始今天的API操作 一、创建Maven项目 首先,打开IDEA,点击新建项目,在左侧中选择Maven,然后直接点击next 设置项目名称,点...

小袁同学的博客 3万+

水电站数字孪生:水力发电在可视化领域的应用

为智慧水坝领域提供了 B/S 架构的基于 WebGL 的图形引擎,与 GIS、粒子仿真、虚拟现实、边缘计算等技术相结合,融合多元业务系统数据,形成数字孪生界面,助力水利水电工程进一步提升数字化水平,乃至为整个工业领域添砖加瓦。

二三维数据可视化/数字孪生 2255

使用Hadoop 的 Java API 操纵 HDFS 文件系统

出现该报错时需要你引入 winutils 支持,winutil.exe 主要用于模拟linux下的目录环境,你可以在互联网上寻找该配置教程,如果你不想麻烦,也可以选择通过 API 读取文件内容然后在使用 Java 的文件相关API方法将文件流作为文件写入系统。引入依赖完成后如下图所示,但因为版本问题存在相对较多的安全的漏洞提示,鼠标放在上方即可显示相关的CVE漏洞编号,但我们仅仅只是学习用途,该问题我们直接忽略。此处仅提供完整样例代码不在提供运行截图,样例代码已经过验证。// 写入文件内容到输出流。

天析的博客 5344

ESP32-S3开发环境避坑指南:VS Code+ESP-IDF离线安装全流程(附国内镜像加速)

本文提供了一份详细的ESP32-S3开发环境离线安装指南,重点解决网络依赖问题。通过整合国内镜像加速,手把手教你完成VS Code、ESP-IDF框架、工具链及Python依赖的本地化部署,实现稳定、可重复的开发环境搭建,大幅提升IoT开发效率。

peach的博客 961

EL6751实战指南:从协议解析到工业现场部署

本文详细介绍了EL6751网关在工业通信协议转换中的应用,从CANopen协议解析到EtherCAT系统部署的实战指南。通过协议栈位置、数据封装方式和通信模型差异的深入分析,帮助工程师高效实现EtherCAT主站与CANopen从站设备间的无缝对接,提升工业现场通信效率。

weixin_30338481的博客 546

HDFS的JAVA API操作(上传文件和下载文件)

阅读目录HDFS Java API一、创建项目 :example-hdfs二、修改pom.xml文件三、创建类TestHDFSClient.java四、创建文件五、下载文件六、上传文件七、其他常见的操作(这里不做演示了)八、FileSystem类常用方法九、遇到的错误及解决方法 HDFS Java API HDFS Java API 位于“org.apache.hadoop.fs"包中,这些AP...

weixin_44947339的博客 1万+

PCF8591实战指南:从IIC通信到STM32的ADC/DAC配置(附完整代码)

本文详细介绍了PCF8591芯片在STM32开发中的实战应用,涵盖IIC通信协议、ADC/DAC配置及完整代码实现。通过解析DATA SHEET关键参数,提供硬件连接指南、控制字节配置技巧和常见问题解决方案,帮助开发者快速掌握这款8位模数/数模转换器的使用,实现精确的模拟信号处理。

y7z8a的博客 539

使用Java API操作HDFS

使用Java API操作HDFS的实验原理如下:配置Hadoop环境:首先需要配置Hadoop的环境,包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件,以便Java程序能够连接到HDFS。引入Hadoop依赖:在Java项目中,需要引入Hadoop的相关依赖,包括hadoop-common、hadoop-hdfs等依赖,以便能够使用Hadoop提供的API。

m0_73832851的博客 5842

博途V17 & PLCSIM & FactoryIO 连接教程

PLCSIM V17 和 FactoryIO 连接教程前言一、软件版本二、连接步骤1. 连接PLCSIM2. 博途编程3.连接FactoryIO总结 前言 该文详细讲解了新手入门博途,并通过使用自带PLCSIM和FactoryIO实现连接。 一、软件版本 TIA Portal V17 S7-PLCSIM V17 Factory IO V2.5.1 二、连接步骤 1. 连接PLCSIM 打开PLCSIM 进入项目模式 新建仿真项目 2. 博途编程 将F

soledad_chao的博客 2万+

利用python爬取东方财富网股吧评论并进行情感分析(一)

利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取 分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选择的高亮样式 进行展示; 增加了 图片拖拽 功能,你可以将本地的图片直

YMG521000的博客 1万+

JAVA API实现HDFS创建、删除文件夹&上传、下载文件

JAVA API实现hdfs的文件操作需要三个依赖包hadoop-common、hadoop-hdfs和hadoop-client。 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0</version> </dependency> <de

DaiSnow的博客 4876

基于STM32单片机智能循迹小车毕业设计

本文介绍了一种利用STM32F103C8T6单片机为控制核心,结合多种传感器以及PID算法实现循迹避障功能的智能小车。随着我国高科技水平的不断提高和工业自动化进程的不断推进,智能小车被广泛应用于各种玩具和其他产品的设计中,极大地丰富了人们的生活。本次设计利用反射式红外光电传感器探测路面黑线实现小车循迹,利用超声波测距传感器探测路径上的障碍,控制小车自动避障,整个系统具有自动循迹、自动避障、速度检测和无线遥控功能。其中,控制部分采用STM32F103C8T6单片机,STM32F103C8T6单片机是一

qq_48771816的博客 3974
上一篇: namenode格式化出错
下一篇: vs2019运行项目时报错出现MSB6006 “CL.exe”已退出,代码为 2。
Cc_sec
博客等级 码龄8年 6粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值