HDFS--读写测试

最新推荐文章于 2023-02-23 17:30:42 发布
最新推荐文章于 2023-02-23 17:30:42 发布
阅读量623 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # HDFS 文章标签： hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_46893497/article/details/110391346
本文档详细介绍了如何在Hadoop集群上进行读写测试和删除文件的步骤。首先，通过`yarn jar`命令执行写测试，创建10个10MB的文件。接着进行读测试，验证数据的正确读取。最后，使用`hdfs dfs rm -r -skipTrash`命令删除测试文件，完成整个流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

读写测试

1、写测试

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -size 10MB
  • yarn：使用yarn来运行一个程序
  • jar：运行一个jar包
  • share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar：需要运行的jar包
  • TestDFSIO：要运行的程序的名称
  • -write：测试写入
  • -nrFiles 10：写入10个文件
  • -size 10MB ：每个文件10MB
    在这里插入图片描述

2、读测试

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

yarn jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -size 10MB
  • -read ：表示测试读取

在这里插入图片描述

3、删除测试文件

hdfs dfs -rm -r -skipTrash /benchmarks
第2关：HDFS-JAVA接口之读取文件
大家一起入坑
03-18 4659
任务描述 本关任务：使用HDFS的Java接口进行文件的读写，文件uri地址为hdfs://localhost:9000/user/hadoop/task.txt。 相关知识 在本关和之后的关卡中，我们要深入探索Hadoop的FileSystem类，它是与Hadoop的某一文件系统进行交互的API。 为了完成本关任务，你需要学习并掌握：1.FileSystem对象的使用，2.FSDataInputSteam对象的使用。 如果你想要在windows下调试编写Hadoop程序，可以查看这篇帖子：在
HDFS-Tiering 数据分层存储
小米云技术
08-06 1563
1. 背景随着小米业务迅猛发展，存储到 HDFS 集群的数据量不断增大，存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右，如何优化海外集群的存...
hdfs-文件读写测试
10-23
本文通过对一些常见场景的测试，重在探索hdfs分布式文件系统的文件读写原理
HDFS读写程序小测试
weixin_34392906的博客
05-12 120
　　WriteHdfs: package aa; import java.io.*; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; public class WriteHdfs { public static void main(String[] args) {...
HDFS读写测试
南风知我意
06-09 2052
2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能 （1）顺序读测试 结果显示，磁盘的总体顺序读速度为360MiB/s。 结果显示，磁盘的总体顺序写速度为341MiB/s。 结果显示，磁盘的总体随机写速度为309MiB/s。 （4）混合随机读写： 结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个 0）写测试底层原理 2）注意：如果测试过程中，出现异常 （1）可以在yarn-sit
CDH4.3.0 HDFS 读写性能测试
08-09
HDFS 读写性能测试
webhdfs-dataloader-v1
05-16
【文件结构】"webhdfs-dataloader-v1-master"是项目的主分支，通常包含了项目的源代码、配置文件、测试用例等组成部分。源代码文件中，我们可以找到实现数据读取、处理和写入HDFS的具体逻辑；配置文件可能包括Kafka...
hadoop-hdfs-study:解读hadoop hdfs
03-24
"hadoop-hdfs-study"项目可能是对HDFS进行深度学习和实践的代码仓库，可能包含示例代码、测试用例以及相关的文档，帮助开发者更深入地理解和使用HDFS。 总结来说，Hadoop HDFS是大数据存储的核心技术，其独特的...
Linux命令行技巧
shuhuai007的专栏
03-21 847
下面我将和大家分享一些学习Linux命令行的技巧，希望能对大家有所助益。如果在本文中遇到不太熟悉的命令，可以在终端中键入以下命令寻求帮助。 Man   Where there's a shell, there's a way.  Linux入门必备 了解bash：没有必要钻研长篇累牍的bash使用手册，通过man bash学习即可。 了解vi：你在工作中也许会使用
enzyme-adapter-react-17:React 17 for Enzyme 的非官方适配器
07-24
@wojtekmaj/enzyme-adapter-react-17 React 17 for 非官方适配器。 安装 npm install --save-dev @wojtekmaj/enzyme-adapter-react-17 或者，如果您使用的是 Yarn： yarn add --dev @wojtekmaj/enzyme-adapter-react-17 配置 最后，您需要配置酶以使用您希望它使用的适配器。 为此，您可以使用顶级configure(...) API。 import Enzyme from 'enzyme' ; import Adapter from '@wojtekmaj/enzyme-adapter-react-17' ; Enzyme . configure ( { adapter : new Adapter ( ) } ) ;
hdfs简单测试
再鹤的博客
08-14 2005
1 ：hadoop fs -ls / 使用本命令，如未报错则便是安装成功。 2 : hadoop fs -mkdir - p /user/hadoop/input 创建文件存放目录 3 ：hadoop fs -put log0605.txt /user/hadoop/input 上传文件 4 ：hadoop fs -ls -lht /user/hadoop/input 查看是否上传 ...
HDFS的基准测试
散步的博客
03-01 622
实际生产环境当中，hadoop的环境搭建完成之后，第一件事情就是进行压力测试，测试我们的集群的读取和写入速度，测试我们网络带宽是否足够等一些基准测试 测试写入速度： 向HDFS文件系统中写入数据，10个文件，每个文件10MB，文件存放到/benchmarks/TestDFSIO中 hadoop jar /export/servers/hadoop-2.7.5/s...
linux命令（TODO学习）important
qqqweiweiqq的博客
07-21 240
Linux
react错误
weixin_42588966的博客
04-17 515
1.Warning: A component is changing an uncontrolled input of type text to be controlled. Input elements should not switch from uncontrolled to controlled 意思就是： 你把一个input组件从非受控变成了受控组件， 这是react不允许的 当你数据没...
react+typescript装饰器写法报错的解决办法
博哥的二进制世界
06-18 2740
react+typescript装饰器写法报错的解决办法背景思路 背景 前段时间，通过react+typescript+umi构建项目，在使用装饰器写法使用dva进行状态管理的时候发现，装饰器写法在tslint中报错了，提示作为表达式调用，无法解析类修饰器的签名？？？ 附上代码 import React, { Component } from 'react' import { connect, UserInfoModelState, Loading } from 'umi'; @connect(({ us
react导入文件报错解决
IU
02-23 1258
react导入src之外的文件时报错问题解决
react组件销毁钩子_用打字稿写出React功能组件和钩子
weixin_26723981的博客
08-17 390
react组件销毁钩子TypeScript is a statically typed language and it complies to JavaScript. Statically typed code is easier to maintain and harder to break. TypeScript是一种静态类型的语言，它符合JavaScript。 静态类型的代码更易于维护，更难...
创建react项目并启动出现的报错解决，学习资源
小白目的博客
02-18 7510
一、预备知识：npm或yarn 二、创建项目步骤： 1.全局安装： npm install -g create-react-app 2.切换到想创建项目的目录（hello-react）：create-react-app hello-react 3.进入项目文件夹：cd hello-react 4.启动项目：npm start 三、可能出现的报错： 1. 'react-app-rewired' 不是内部或外部命令，也不是可运行的程序或批处理文件。 原因：可能是由于create-re.
Python库dbnd_hdfs-0.66.11新特性及其安装方法
dbnd_hdfs库使得Python应用程序能够无缝地访问HDFS中的数据，进行数据的读写、管理等操作。 4. Big Data技术：该库涉及大数据技术，因为HDFS是处理大数据的关键组件之一。开发者可以利用dbnd_hdfs库在HDFS上执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值