HDFS daily maintenance,, useful command

最新推荐文章于 2024-12-27 22:40:09 发布
原创 最新推荐文章于 2024-12-27 22:40:09 发布 · 837 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#database #hadoop #hdfs #maintenance

本文介绍了Hadoop 2.2.0版本中数据节点的相关管理操作，包括数据节点报告、数据节点平衡调整、刷新数据节点等命令的使用方法。

Hadoop version: Hadoop 2.2.0.2.0.6.0-0009

1.datanode report

cmd>%hadoop_home%/bin/hdfs dfsadmin -report
2.datanode balancer 

cmd>%hadoop_home%/bin/hdfs balancer -threshold 5 -policy datanode

3. Refresh datanodes --- Re-read the hosts and exclude files to update the set of Datanodes that are allowed to connect to the Namenode and those that should be decommissioned or recommissioned. 

cmd>%hadoop_home%/bin/hdfs dfsadmin -refresh<strong>N</strong>
HDFS简化版Maintenance state实现
走在前往架构师的路上
02-08 1376
文章目录前言 前言 在HDFS集群运维过程中，我们经常会遇到机器送修的情况，尤其在集群机器数量比较多的情况，每天因为坏盘或是其它硬件问题导致的机器维修是很常见的。对于集群维护者来说，机器的这种日常损坏我们是无法回避的，我们能做的是如何将这种机器维修的所造成的影响降低到最小。在现有的HDFS中，社区提供了一种叫做Maintenance state的功能来专门处理这种情况的。本文笔者来谈谈这个特殊的功能以及我们内部是如何简化此特性来方便于我们的使用的。 Maintenance state DataNode和普
聊聊分布式存储系统的Decommission和Maintenance模式
走在前往架构师的路上
08-08 1263
文章目录前言Decommission模式Maintenance模式Decommission/Maintenance过程中的限流处理 前言 在分布式存储系统中，我们经常会遇到节点坏了挂掉的情况。这个时候我们通常的做法是将其进行送修处理。节点出现问题挂了这个现象本身不严重，这里的重点是我们如何依然保证其上数据对于用户的高可用性。这就是我们常说的存储节点的Decommission过程。本文笔者来聊聊D...
HDFS Maintenance State
走在前往架构师的路上
01-25 2614
前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什么意思呢，HDFS处于维护状态？说起维护状态，我们不禁可以联想到HDFS RollingUpgrad，没错，RollingUpgrade确实与HDF
HDFS注意点
每天进步一点点
12-12 259
  unlike a filesystem for a single disk, a file in HDFS that is smaller than a single block dose not occupy a full block's worth of underlying storage.(For example, a 1MB file stored with a block siz...
第119讲：HDFS的配置以及安全高效的HDFS配置最佳实践学习笔记
slq1023的博客
11-09 764
第119讲：HDFS的配置以及安全高效的HDFS配置最佳实践学习笔记 安全和高效是中高级用户关心的。 core-site.xml和hdfs-site.xml是hadoop最主要的配置文件。 core-site.xml中fs.defaults是namenode的uri。就是文件系统的uri,也就是文件系统的要目录。 hdfs-site.xml中的dfs.namenode.name.dir  
hdfs dfs的bash hdfs command not found解决方案
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-04 5372
问题描述： 在使用hdfs dfs命令时候发现bash hdfs command not found的错误 问题原因： 没有进行相关环境变量的配置 解决方法： 配置相关环境变量：在/etc/profile文件添加（HADOOP_HOME为你安装hadoop的位置） HADOOP_HOME=/opt/module/hadoop-2.7.2 PATH=/opt/module/hadoop-2.7.2/bin:$PATH 结果： ...
hdfs：HDFS的本机go客户端
02-03
Go的HDFS 这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。 它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。...
hdfs client分析：hdfs dfs -ls
派大星的技术人生
03-27 2600
shell脚本分析 实例命令：hdfs dfs -ls 对应脚本文件：bin/hdfs 对应具体脚本内容： COMMAND=$1 shift elif [ "$COMMAND" = "dfs" ] ; then CLASS=org.apache.hadoop.fs.FsShell 最终执行的命令： exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS $CLAS...
CDH HDFS 概念集合
freeRoad
04-14 2378
Maintenance Mode 节点进入维护模式，不再接受写入请求，临时离开下很快回来。 基本不转移节点上的数据（除非其他节点上都没有该数据副本）需要很短时间。 HDFS Maintenance State_Android路上的人的博客-优快云博客前言初一看文章标题，很多人可能比较奇怪“HDFS Maintenance”是什么意思，“HDFS包含”的意思？首先Maintenance这个形似Maintain的单词可不是什么包含的意思，它的解释是维护，维修。那么HDFS Maintenance具体是什
hdfs命令（三）- hdfs 管理命令（三）- hdfs dfsadmin命令
zcs2312852665的博客
12-27 1486
本文档旨在详细介绍 hdfs dfsadmin 的主要功能及其使用方法，帮助读者更好地掌握如何利用这一工具来管理和优化HDFS集群。我们将按照不同的类别组织命令，并提供详细的语法说明和实际应用示例，以便于读者快速查找所需信息并应用于实践当中。是Hadoop分布式文件系统（HDFS）提供的一个管理工具，主要用于执行与HDFS集群管理和维护相关的各种操作。这些命令通常需要以HDFS超级用户的身份运行，因为它们涉及到对整个文件系统的控制和配置调整。
HDFS Decommission节点的长尾分析和问题解决
小昌昌的博客
07-12 1575
我们在一个HDFS集群中进行部分节点的Decommission操作。在Decommission过程中，我们发现了一些问题，比如调度缓慢，关键日志缺失等，我们通过参数调整、代码优化等方式尝试解决问题。本文详细记录了我们遇到问题和解决问题的过程，同时从代码层面讲解HDFS Decommission和块重构(Block Reconstruction)的流程。
Hadoop3.2.0 HDFS命令指南
热门推荐
张伯毅的专栏
02-19 1万+
HDFS命令指南 概览 User Commands classpath dfs envvars fetchdt fsck getconf groups httpfs lsSnapshottableDir jmxget oev oiv oiv_legacy snapshotDiff version Administration...
impala+hue
Kelvin Liang Study Footprint
02-23 2980
下载impala 和 hue http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_vd_cdh_package_tarball.html https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.5.0/RPMS/x86_64/ impala  i
说说我对spark-sql的job的参数调优
Kelvin Liang Study Footprint
02-19 2706
首先要说的是机器配置 namenode/datanode:  cpu : 8core  memory: 56G 我现在是基于yarn+spark的架构来说。 现在设置 yarn.nodemanager.resource.memory-mb =51200 (50GB)  --每个node可以最多使用50GB作为 container 的分配 yarn.scheduler.minimum
性能测试 hive Use ANALYZE table columns
Kelvin Liang Study Footprint
09-14 2157
测试记录数： 346804534  数据大小：20GB select eventchannel from event8 where pdate = '2015-09-01' and lower(eventchannel) rlike 'window' and eventsourcemachine rlike 'changhong' group by eventchannel having
SPARK & HIVE现在ACID的支持现状
Kelvin Liang Study Footprint
11-12 1470
在讨论之前，先介绍ACID是什么。 原子性（Atomicity） 原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性（Consistency） 事务前后数据的完整性必须保持一致。 隔离性（Isolation） 事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。 持久性（...
Experience on Namenode backup and restore --- checkpoint......
Kelvin Liang Study Footprint
03-27 1277
Hadoop version: Hadoop 2.2.0.2.0.6.0-0009 Well, We can do this by building Secondary Namenode, Checkpoint node or Backup node. Example: Assuming you have a Secondary Namenode. 1. Check secondary n
Experience on Namenode backup and restore --- checkpoint
Kelvin Liang Study Footprint
06-13 1265
Hadoop version: Hadoop 2.2.0.2.0.6.0-0009 Well, We can do this by building Secondary Namenode, Checkpoint node or Backup node. Example: Assuming you have a Secondary Namenode. 1. Check sec
hadoop fs -<command> 或 hdfs dfs -<command>解释命令
最新发布
04-02
好的，我现在需要回答用户关于Hadoop文件系统命令的用法和含义的问题，特别是hadoop fs和hdfs dfs的区别以及它们的参数说明。首先，我得回忆一下用户提供的引用内容，确保信息准确。 根据引用[1]、[2]和[3]，hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值