利用shell或java操作HDFS

实验二 HDFS实验操作 一、实验目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的Shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统: Hadoop版本: JDK版本: Java IDE: 三、实验内容和要求 利用Hadoop提供的Shell命令完成下列任务: 向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。 hadoop fs -put test.txt /test/ hadoop fs -a 阅读详情

一、HDFS常见的Shell操作

1、查看指定路径的信息

hdfs dfs -ls hdfs://bigdata02:9000/

可以简写成 hdfs dfs -ls /

2、从本地上传文件

可以采用put命令进行文件上传

3、可以采用get命令下载文件到本地

4、采用mkdir新建文件夹,要是递归目录,则在ls后面添加-R参数

二、通过java操作HDFS

本地idea运行时候,可能报异常:HADOOP_HOME and hadoop.home.dir are unset

1、使用java进行文件上传

<pre class="prettyprint hljs cs" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://192.168.221.131:9000");
            FileSystem fileSystem = FileSystem.get(conf);
            put(fileSystem);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    //文件上传
    private static void put(FileSystem fileSystem) throws IOException{
        FSDataOutputStream fos = fileSystem.create(new Path("/user.txt"));
        FileInputStream fis = new FileInputStream("D:\\bigdata/user.txt");
        IOUtils.copyBytes(fis,fos,1024,true);
    }

运行结果:

2、使用java进行文件下载

<pre class="prettyprint hljs cs" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, &quot;Courier New&quot;, monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">public static void main(String[] args) {
        try {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", "hdfs://192.168.221.131:9000");
            FileSystem fileSystem = FileSystem.get(conf);
            get(fileSystem);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    //文件下载
    private static void get(FileSystem fileSystem) throws IOException{
        FSDataInputStream fis = fileSystem.open(new Path("/user.txt"));
        FileOutputStream fos = new FileOutputStream("D:\\bigdata/user1.txt");
        IOUtils.copyBytes(fis,fos,1024,true);
    }

运行结果:

三、实际过程中遇到的问题及解决方案

1.Java运行Hadoop发生异常:HADOOP_HOME and hadoop.home.dir are unset

【大数据实验】熟悉常用的 HDFS 操作 《数据存储技术》实验 2熟悉常用的 HDFS 操作) 一、实验目的 理解 HDFS 在 Hadoop 体系结构中的角色; 熟练使用 HDFS 操作常用的 Shell 命令; 熟悉 HDFS 操作常用的 Java API。 二、实验平台 操作系统:Ubuntu 16.04 Hadoop 版本:3.1.3 JDK 版本:1.8 Java IDE:Eclipse 三、实验内容和要求 (1) 向 HD... 阅读详情

相关推荐

python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件

python对Hadoop的hdfs的操作——-pyhdfs或python调用shell文件本人在写基因组里的序列比对算法时,需要用Hadoop加快运算的速度,在java中可以直接调用Hadoop里面API提供的方法对hdfs操作,然而由于本人是用python写的算法,需要借助pyhdfs或python调用shell文件来对hdfs来进行操作。一、pyhdfs操作hdfs下面本人都详细介绍pyhdf

qq_29979341的博客 8752

使用java API 操作

了解HDFS Java API掌握使用Java API操作HDFS

m0_63560941的博客 1535

大数据ETL实践探索(6)---- 使用python将大数据对象写回本地磁盘的几种方案

文章大纲python 与hdfs 交互 回写python2 与hdfs在python中直接调用hadoop shell 命令去操作文件python 与 py4j 交互pyspark 直接写文件到磁盘(这个可以搭建一个本地的spark 单机版试试)python docker 搭建spark standalone 版本 python 与hdfs 交互 回写 使用hdfs 包 api list:htt...

shiter编写程序的艺术 1258

Hadoop大数据技术-java操作hdfs

使用JavaApi对hdfs中的文件进行了创建、删除、上传、下载、读取、追加以及列出目录下的文件的基本操作

m0_74394367的博客 2112

机器人路径规划:基于冠豪猪优化算法(Crested Porcupine Optimizer,CPO)的机器人路径规划(提供MATLAB代码)

移动机器人(Mobile robot,MR)的路径规划是 移动机器人研究的重要分支之,是对其进行控制的基础。根据环境信息的已知程度不同,路径规划分为基于环境信息已知的全局路径规划和基于环境信息未知或局部已知的局部路径规划。随着科技的快速发展以及机器人的大量应用,人们对机器人的要求也越来越高,尤其表现在对机器人的智能化方面的要求,而机器人自主路径规划是实现机器人智能化的重要步骤,路径规划是指规划机器人从起点位置出发,无碰撞、安全到达指定目标位置的最优路径。

IT猿手 1368

【人工智能】AI算法系统设计与算法建模的详细阐述

AI算法系统设计与算法建模是人工智能领域中的核心任务之一,它涉及从问题定义、数据收集、算法选择、模型构建到系统部署的全过程。以下是对AI算法系统设计与算法建模的详细阐述

weixin_51306394的博客 4356

HDFS Java API 操作

java API 操作hdfs

m0_72168501的博客 4317

ESP32蓝牙广播数据自定义指南:让你的设备更容易被手机发现

本文详细介绍了如何通过自定义ESP32蓝牙广播数据提升设备在手机端的可发现性。从广播数据结构、扫描响应优化到跨平台兼容性设置,提供了全面的技术指南和实战代码示例,帮助开发者解决智能硬件开发中的蓝牙连接难题。

weixin_29172201的博客 273

JAVA操作HDFS

HDFS介绍 HDFS的全称是Hadoop Distributed File System ,Hadoop的 分布式 文件 系统 它是一种允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多个用户分享文件和存储 空间 其实分布式文件管理系统有很多,HDFS只是其中一种实现而已 还有 GFS(谷歌的)、TFS(淘宝的)、S3(亚马逊的) 为什么会有多种分布式文件系统呢?这样不是重复造轮子吗? 不是的,因为不同的分布式文件系统的特点是不一样的,HDFS是一种适合大文件存储的分布式文件系

爱编程 361

5G/NR SSB学习总结

6.1 SSB概念 同步信号和PBCH块(Synchronization Signal and PBCH block, 简称SSB),它由主同步信号(Primary Synchronization Signals, 简称PSS)、辅同步信号(Secondary Synchronization Signals, 简称SSS)、PBCH三部分共同组成。 6.2 SSB特征 ...

欢迎来到小七的博客,这里将带你深入探索5G通信的神秘世界。无论你是通信领域的专业人士还是对这一领域充满好奇心的技术爱好者,这里都有专业协议解读、通信知识普及以及有趣的Python编程内容等你发现。 8万+

C#上位机通信层封装:西门子S7NetPlus库的优雅使用

支持S7-1200/1500(机架号0,槽号1)、S7-300/400(机架号/槽号需根据实际配置);支持位(Bit)、字节(Byte)、字(Word)、双字(DWord)、浮点数(Float/Double)等数据类型的读写;支持DB块、输入寄存器(I)、输出寄存器(Q)、内存寄存器(M)、定时器(T)、计数器(C)的操作;轻量无依赖,兼容.NET 5+。首先定义核心枚举和常量,统一规范参数类型,避免硬编码。/// 西门子PLC型号(对应不同的机架/槽号默认配置)

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1088

JavaAPI操作HDFS

重启电脑,在终端查看hadoop版本在hadoop目录中添加windows系统的依赖文件​ 找到与hadoop版本相近的winutils版本的bin,然后把下载好的中的文件复制粘贴到windows的hadoop/bin目录下和,其中前两者是用于运行HDFS和MapReduce程序时防止NativeIO异常;hadoop.dll文件用于运行HDFS和MapReduce程序时防止空指针异常。

sxwwudi的博客 1471

2、微软 Power Automate 入门指南

本文是一篇关于微软 Power Automate 的入门指南,详细介绍了 Power Automate 的基本概念、相关术语、登录方式以及如何创建一个简单的自动化流。文章还探讨了 Power Automate 在业务流程中的应用场景和优势,并展望了其高级功能和未来发展。适合希望快速入门 Power Automate 并提升业务自动化效率的读者。

corn8的博客 442

大数据技术-实验三Spark(部分)

3.2HBase部分 3.2.1通过Hbase的shell命令创建HBase列式存储数据表格,其中每一行的数据格式如下: 行键(number) 列簇1(information) 列簇2(score) 列簇3(stat_score) 列名(name) 列名(sex) 列名(age) 列名(123001) 列名(1230

Y_Zoe的博客 3212

基于YOLOv8的视频监控违规停车智能识别系统与应用研究

通过这个毕设,你已经从数据准备、模型训练到界面开发,完整走了一遍深度学习项目的流程。把多个停车场的监控数据整合起来,做一个区域级的停车管理平台;加入车牌识别功能,直接定位到违规车辆的车主;试试把YOLO模型再优化一下,让它在手机端也能运行,实现移动巡检。相信我,按照这个教程一步步做,你的毕设不仅能顺利完成,还能做出亮点,让答辩老师眼前一亮。要是过程中遇到什么问题,随时可以再琢磨琢磨,或者找我聊聊,咱们一起把这个毕设做成精品。

LXY_LOVE36的博客 119

芒果YOLOv7改进48:主干篇:独家首发改进:目标检测新范式骨干PPHGNetv2改进版,充分融合信息特征,提升YOLOv7检测能力

YOLOv7代码改进实践 | 独家首发改进 PPHGNetv2 改进版结构

包括YOLOv5、YOLOv7、YOLOv8等模型改进 1851

HDFS的shell操作

HDFS进行文件操作的主要方式包括shell和Java程序两种。

Yuuuuuuhs的博客 1773

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

大数据实验3: HDFS基础编程 (shell命令、JAVA API使用)

,否则返回文件一行的文本。在 Hadoop 分布式文件系统(HDFS)中的作用是将本地文件系统中的文件 localfile 上传到 HDFS 上的目录 hdfsdir1 中。10、hdfs dfs -cat [path]:显示文件内容,如果路径是一个目录,则显示目录下所有文件的列表。3、hdfs dfs -put localpath hdfspath:将本地文件系统中的文件上传到HDFS。14、hdfs dfs -count [path]:显示指定路径下的文件或目录的详细信息,包括大小、数量等。

m0_74161592的博客 2462

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

HDFS的三种操作(Shell,Web,JAVA API)

摘要:HDFS提供三种主要操作方式:Shell命令(hdfs dfs/hadoop fs)用于命令行交互,支持文件上传下载、目录创建删除等基本操作;Web界面(默认端口50070/9870)用于可视化浏览文件系统、查看文件属性和内容;Java API(FileSystem类)提供最灵活的编程式访问,支持目录操作、文件读写等。Shell适合管理员和脚本操作,Web界面便于监控和查看,Java API适用于应用程序集成,使用需注意权限控制和资源释放。

2401_85694903的博客 1521

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

HDFS操作方法和基础编程——文件和目录的操作

文章目录一、HDFS操作常用Shell命令(一)查看命令使用方法(二)HDFS目录操作二、利用HDFS的Web管理界面三、HDFS编程实例 一、HDFS操作常用Shell命令 (一)查看命令使用方法 启动Hadoop 登录Linux系统,打开一个终端 使用命令cd /usr/local/hadoop sudo ./sbin/start-dfs.sh 运行结果 查看hdfs dfs总共支持哪些操作 使用命令cd /usr/local/hadoop sudo ./bin/hdfs dfs 运行结果 查看

Harriet的博客 1万+

HDFS操作方法和基础编程

1.实验目的 (一)熟悉HDFS的基本shell命令 (二)熟悉HDFS的web管理 (三)掌握HDFS编程实践 2.实验内容 (一)参考课本4.1的内容,完成相关的HDFS的基本shell命令。 0.命令基础 ①执行命令启动Hadoop(版本是Hadoop3.1.3)。 ②Hadoop支持很多Shell命令,其中fs是HDFS最常用的命令,利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。在终端输入如下命令可以查看fs全部支持的命令。 ③在终端输入如下命令,可以查看具体某个.

半濠春水的博客 1万+

二、熟悉常用的HDFS操作

好烦人

ZHOU的博客 3787

hadoop集群:HDFS的Shell命令行操作与Java 常用API操作

hadoop hdfs的shell命令与java 常用api的操作与思想保持一致,故对比,易于理解与记忆 主要区别点: shell命令行,一般在虚拟机集群或者远程连接工具Xshell上操作,被操作对象分别为 Linux文件系统本地 + HDFS文件系统 Java API,一般在Windows系统下idea软件上编写代码操作,被操作对象分别为 Windows文件系统本地 + HDFS文件系统 (一)HDFS的Shell命令行操作: 1,查看所有的hdfs命令 hadoop dfs 或者 hdfs dfs ,

weixin_41300542的博客 4485

实验二 熟悉常用的 HDFS 操作

大数据技术原理与应用 (林子雨) 一、实验目的 (1)理解HDFS在Hadoop体系结构中的角色。 (2)熟练使用HDFS操作常用的Shell命令。 (3)熟悉HDFS操作常用的Java API。 二、实验平台 操作系统:Linux。 Hadoop 版本:2.7.3 或以上版本。 JDK 版本:1.7 或以上版本。 Java IDE:IDEA 三、实验内容和要求 (1)编程实现以下指定功能,...

nenguou04的博客 2万+

HDFS的Shell操作以及Java API操作

HDFS的Shell操作以及Java PI操作。

qq_43461159的博客 1922

分别用Shell命令和JAVA代码对HDFS进行操作

HDFS-Shell命令操作 进入/usr/local/hadoop: cd /usr/local/hadoop 首次使用hdfs时,需要使用format命令进行格式化: ./bin/hdfs namenode -format 使用start-dfs.sh命令启动hdfs,可以使用 jps 命令查看是否成功启动: ./sbin/start-dfs.sh 创建hdfs的文件目录(虚拟) ./...

xwmrcj的博客 1308
上一篇: 深入了解Elasticsearch的CRUD:ES Java API之增删改查
下一篇: 真是学到了!——《Nginx的几个常用配置和技巧》
Java_ttcd
博客等级 码龄4年 198粉丝 190原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值