hdfs文件系统基础命令,高级命令,安全模式,压力测试

HDFS压力测试 实际生产环境当中,hadoop的环境搭建完成之后,第一件事情就是进行压力测试,测试我们 的集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试。 写入速度测试 # 向HDFS文件系统中写入数据,10个文件,每个文件10MB hadoop jar /HadoopPath/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.7.5.jar TestDFSIO -write -nrFiles 10 fileSize 10MB # 测试 阅读详情

ls: -R 递归枚举

Usage: hdfs dfs -ls [-R] <args>

mkdir: -P 创建父目录和子目录

Usage: hdfs dfs -mkdir [-p] <paths>

moveFromLocal:从本地剪切文件到hdfs   注意大小写

Usage: hdfs dfs -moveFromLocal <localsrc> <dst>

moveToLocal :从hdfs移动到系统,此命令还不支持

Usage: hdfs dfs -moveToLocal [-crc] <src> <dst>

Displays a "Not implemented yet" message.

mv :移动重命名

Usage: hdfs dfs -mv URI [URI ...] <dest>

put:上传文件到hdfs系统

Usage: hdfs dfs -put <localsrc> ... <dst>

追加文件到指定文件,指定文件不存在会自动创建

Usage: hdfs dfs -appendToFile <localsrc> ... <dst>

追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入.

cat:读指定文件

Usage: hdfs dfs -cat URI [URI ...]

cp :拷贝文件或文件夹到hdfs系统

Usage: hdfs dfs -cp [-f] [-p | -p[topax]] URI [URI ...] <dest>

复制文件(夹),可以覆盖,可以保留原有权限信息

删除:rm -r   -r:递归删除,到垃圾回收站

Usage: hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI ...]

赋权777

Usage: hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

修改属组.

Usage: hdfs dfs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

清空回收站(hdfs就不要用这个命令)

Usage: hdfs dfs -expunge

------------------------------------------------------------------------------------------------

高级命令:

文件数量限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB

hdfs dfsadmin -setQuota 2 lisi

hdfs dfsadmin -clrQuota /user/root/lisi

大小限额

hdfs dfsadmin -setSpaceQuota 4k /user/root/lisi   # 限制空间大小4KB

hdfs dfsadmin -clrSpaceQuota /user/root/lisi

查看限制:

hdfs dfs -count -q -h /user/root/lisi

hdfs安全模式:

hdfs集群刚启动的时候,默认30S钟的时间是出于安全期的,只有过了30S之后,集群脱离了安全期,然后才可以对集群进行操作

hdfs  dfsadmin  -safemode

hdfs基准测试,压力测试

测试写入速度:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO  -write -nrFiles 10 -fileSize 10MB

查看测试结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

测试读取速度:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB

查看测试结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

清除测试数据:

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -clean

 

大数据Hadoop(九):HDFS的高级使用命令 目录 HDFS的高级使用命令 HDFS的安全模式 HDFS基准测试 测试写入速度 测试hdfs的读取文件性能测试读取速度 清除测试数据 HDFS的高级使用命令 HDFS的安全模式 安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。 假设我们设置的副本数(即参数dfs.replication)是3,那么在datanode上就应该有3个副本存在,假设只存在2个副本,那么比例就是2/3=.. 阅读详情

相关推荐

CDH4.3.0 HDFS 读写性能测试

HDFS 读写性能测试

文件系统测试方案

Linux文件系统测试方案

yanbin125789的博客 1709

hdfs-文件读写测试

本文通过对一些常见场景的测试,重在探索hdfs分布式文件系统的文件读写原理

HDFS 常用命令

这些命令可以在 Hadoop 集群的命令行界面上执行,用于管理和操作 HDFS 中的文件和目录。可以通过在命令后添加。以下命令中的 hadoop fs 在高版本的 Hadoop 中 可以使用 hdfs dfs 替换。选项来获取每个命令的详细用法和选项。

桃李不言下自成蹊 7万+

【网络】Ikuai中如何添加/更换虚拟机(图文)

Ikuai 添加虚拟机教程

qq_20623849的博客 6538

微信小程序OCR身份证识别实战:从拍照到信息提取全流程解析

本文详细解析了微信小程序中OCR身份证识别的全流程实现,从环境配置、拍照上传到OCR核心识别及安全优化。通过微信开发者工具和OCR插件,开发者可快速构建高效的身份信息采集系统,提升用户体验和数据安全性。重点介绍了图像处理、加密传输及混合云架构等企业级解决方案。

j0k1l2m3n的博客 458

HDFS系统操作命令大全

HDFS作为分布式存储的文件系统,有其对数据的路径表达方式HDFS同linux系统一样,均是以/作为根目录的组织形式。

菜菜的博客 1万+

360°视频的视频编解码器性能评估中的常见测试条件和软件参考配置

这几天一直阅读提案,发现状态不是很好,就把几篇我觉得很有用的提案摘录到这里。带(*)标识的地方是我还没懂的地方= =、 首先这篇提案是JVET common test conditions and evaluation procedures for 360° video 1、Introduction 360°视频通用测试条件是在well-defined(*)的环境中进行实验,并且简化实验结果

不是他人太努力,只是自己努力不够罢了 4189

文件系统性能测试工具 Filebench

文件系统性能测试工具 Filebench 的使用

喵呜 4684

数据科学常见模型总结(二)-倾向性得分匹配模型

PSM的核心思想是从未受干预的用户群体中,找到和干预对象一模一样的用户,这样就可以把因果效应归因到干预上。

wudelong0112的专栏 4894

Open3D 点云重叠区域检测【2025最新版】

本文介绍了一种基于八叉树和KD树的点云重叠区域检测方法。算法提供两种检测模式:八叉树(快速)和KD树(精确),支持可视化显示和详细统计信息输出。实现功能包括边界扩展、索引去重、精度调节等,可通过max_depth参数控制八叉树细分程度,distance_threshold调整检测精度。代码使用Open3D库,能自动计算并显示各点云的重叠比例和点数统计,最终结果以不同颜色区分重叠与非重叠区域。该方案适用于三维点云数据处理中的重叠分析任务。

点云侠的博客 599

分享cpu,mem,文件系统IO压力测试工具链接

http://blog.csdn.net/liushi558/article/details/50771853

kevin's cache的专栏 1063

基于深度学习的推荐系统设计与实现

基于深度学习的推荐系统设计与实现 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM 基于深度学习的推荐系统设计与实现 关键词:深度学习, 推荐系统, 用

AI天才研究院 1079

HDFS简单介绍

1.介绍 HDFS 全称是 Hadoop Distribute File System,是Hadoop进行数据存储的核心组件,作为最底层的分布式存储服务存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。 2.特性: 2.1master/savle架构 master/savle架构。一般一个HDFS集群是由一个吻NameNode和一定数量的DataNode组成。Nam...

qq_41975699的博客 544

某勾网之登录过程逆向

拉勾网的登录过程逆向,包含请求头(X-S-HEADER、X-K-HEADER、X-SS-REQ-HEADER等) 以及 请求参数/返回数据的加解密。

shanf7921的博客 3万+

基于TIA博途的一阶滞后滤波+中位值滤波+堆栈平均值滤波算法SCL语言程序(封装FB库)

基于TIA博途的一阶滞后滤波+中位值滤波+堆栈平均值滤波算法SCL语言程序(封装FB库)

Robot_PLC_HMI_Automation 2178

hdfs高级命令

对文件进行限额主要在多人使用hdfs文件系统的时候,为了避免有的用户一个人就要占用整个文件系统所有的存储空间等情况,hdfs 的限额配置允许我们以文件个数或者文件大小进行对某个目录的限制。 文件限额配置操作 查看某个目录的配置信息: hdfs dfs -count -q -h URL output: 2 0 none inf 1 1 1.4

qq_45841239的博客 329

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

hadoop 离线 day07 HDFS文件系统的基本特性和操作

HDFS文件系统的基本特性 HDFS的特性: master/slaver架构:主从架构 namenode:主节点,主要用于存储元数据 datanode:用于存储数据,就是出磁盘的 分块存储:把一个大的文件化成一个个小的block块,在hadoop2中,一个block块的大小默认是128M。 副本机制:一个1280M的文件需要拆成10个block块,每个block块都有三个副本。 一次写入,多次读取:适用于频繁读取的情况,不适用与频繁写入的情况,改变文件,涉及改元数据的改变。 HDFS的命令行使用 ls

KKT 245

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

hadoop压力测试 hadoop集群压力测试 hdfs压力测试

使用hadoop官方工具遇到了一些问题(附录详写),所以自己编写了测试用例进行压力测试 首先pom文件引入lombok,hadoop和hdfs的依赖包 <properties> <lombok.version>1.16.20</lombok.version> <hadoop.version>2.7.7</hadoop.versi...

王者丶丿风范 3913

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

【Hadoop离线基础总结】HDFS入门介绍

HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System,也就是Hadoop分布式文件系统,是Hadoop的核心组件之一。 分布式文件系统是横跨在多台计算机上的存储系统,主要解决的就是大数据存储的问题 特性 master/slave架构 HDFS集群一般是由一个 NameNode 和一定数目的 DataNode 组成。NameNode 是 HDFS...

关于我转生变成程序猿这档事 328

hadoop压力测试与命令

HDFS的命令行使用 1.ls 格式:hdfs dfs -ls URL 作用:类似linux的ls命令,显示文件列表 hdfs dfs -ls / 2.lsr 格式:hdfs dfs -lsr URL 作用:在整个目录下递归执行ls,与linux中的ls-R类似 hdfs dfs -lsr / 3.mkdir 格式:hdfs dfs [-p] -mkdir 作用:以中的URL作为参数,创建目录、使用-p参数可以递归创建目录 hdfs dfs -mkdir /dir1 #dir9999不存在 h

Xiaoweidumpb 775

04 HDFS压力测试

一、hdfs基准测试 实际生产环境当中,hadoop的环境搭建完成之后,第一件事情就是进行压力测试,测试我们的集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试 1.1、测试写入速度 向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO中 hadoop jar/export/server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jo...

lovetg0419的博客 373

深入学习分布式文件系统

一、HDFS高级命令 1.HDFS文件限额配置 HDFS文件限额配置可以限制一个目录的文件数量,空间大小 1.1 文件数量限制 我们新建一个目录,使用hdfs dfs -count -q -h查看这个目录的原始限额信息 当设置目录上限为n个文件时,实际上只能存储n-1个文件,因为目录也算一个 1.2 空间大小限额 给目录空间限额有一个原则,即限额必须大于Block容量3 文件上传到被限额的目录时,目录空间限额量必须大于 文件大小/block容量3,否则会上传失败。 2.HDFS的安全模式 安全模式是h

qq_35254085的博客 189

HDFS基准测试(压力测试)

所用Hadoop版本为之前文章配置的2.7.5版本 hadoop的环境搭建完成之后,进行压力测试,测试我们的集群的读取和写入速度,网络带宽等一些基准测试。 1测试写入速度 在hadoop-2.7.5/share/hadoop/mapreduce/下有很多分布式计算程序 其中hadoop-mapreduce-client-jobclient-2.7.5.jar是可以用来进行基准测试的 向HDFS文件系统中写入数据,10个文件,每个文件10MB 执行测试命令之后会生产相关的测试log文件,我们将

weixin_47878012的博客 2198

Hadoop-HDFS详解

文章目录一、HDFS概述1. HDFS产出背景及定义1)HDFS产生背景2)HDFS定义2. HDFS优缺点1)HDFS优点2)HDFS缺点3. HDFS组成架构4. HDFS文件块大小二、HDFS的shell操作1. 基本语法2. 命令大全1)上传2)下载3)HDFS直接操作4)举例说明a. 查看文件大小三、HDFS的API操作1. Windows 系统客户端环境准备2. API 操作1)引入依赖2)操作流程3)参数优先级4)常用操作API四、HDFS读写数据流程1. HDFS写数据流程2. 网络拓扑-节

一名小码农的博客 6288

HDFS如何解决海量数据存储及解决方案详解

写入测试 打开方式 文件系统的分类 本地磁盘文件系统 光盘文件系统 网络文件系统 分布式文件系统 文件查询问题 HDFS的切片问题 概念 HDFS的元数据 HDFS的架构 语法 操作 回收站配置 HDFS的安全模式 介绍 操作命令 HDFS的读写流程 写入流程 查看日志文件内容 HDFS的JavaAPI操作(重点) 介绍 核心类 代码 HDFS的远程拷贝命令 集群内部拷贝 集群之间拷贝 HDFS的归

yqqの博客 2096
上一篇: hadoop三种运行环境以及standAlone环境的安装
下一篇: 获取hadoop文件系统的5种方式
RZH_long
博客等级 码龄6年 17粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值