为hadoop集群中单个datanode添加硬盘

最新推荐文章于 2021-05-19 12:06:12 发布
最新推荐文章于 2021-05-19 12:06:12 发布
阅读量5.8k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： ubuntu hadoop集群 硬盘 单个节点
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/predict_wise/article/details/53544529

最近实验室的小集群当中的一个datanode硬盘容量快用完了，考虑着要加块1T的新硬盘，但是却被这么一个小问题折腾了好一会才解决，特地在此记录一下，希望为看到这篇文章的朋友们节约宝贵的时间。

Ubuntu环境下挂载新硬盘

这篇帖子已经写得很详细了，写得很不错，在Ubuntu环境下挂载新硬盘可以看这篇。

唯一有点区别的是“硬盘在系统启动自动挂载”这一部分。我的配置为：

/dev/sdb  /home/hadoop/hdp-data/data1/hdfs  ext4  defaults  0   0
修改hdfs-site.xml文件

  • 给被挂载的目录赋予权限
    sudo chown -R hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs

  • 修改hdfs-site.xml

    <property>
<name>dfs.datanode.data.dir
最低0.47元/天 解锁文章
predict_wise
关注
大数据领域Hadoop集群搭建的详细步骤
AI天才研究院
05-08 661
Hadoop是Apache基金会开发的分布式计算框架，核心组件HDFS（分布式文件系统）和YARN（资源管理系统）支撑了海量数据的存储与计算。本文聚焦Hadoop 3.3.6版本的集群搭建，覆盖单Master多Slave的基础架构（生产环境可扩展为HA高可用架构），适用于企业级数据仓库、日志分析、离线计算等场景。核心概念：解析Hadoop架构与组件职责；环境准备：操作系统、网络、JDK配置；集群搭建：配置文件修改、节点分发、启动流程；验证与调优：健康检查、性能参数调整；
hadoop2.0的datanode多目录数据副本存放策略
快乐程序员的专栏
10-11 8843
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式： 第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java 第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java
Hadoop集群中添加硬盘
sun_168的专栏
11-22 5622
Hadoop工作节点扩展硬盘空间 接到老板任务，Hadoop集群中硬盘空间不够用，要求加一台机器到Hadoop集群，并且每台机器在原有基础上加一块2T硬盘，老板给力啊，哈哈。 这些我把完成这项任务的步骤和我遇到的问题和解决方法总结一下，分享给大家。 1.    首先，介绍一下用到的基本命令和配置，如果本文的网友时间比较紧，可以直接跳过部分内容，直接看“2.   如何加载新硬盘”部分。 （1
Hadoop DataNode 增加磁盘
u010027484的博客
07-11 1023
Hadoop DataNode 增加磁盘 1.磁盘格式化 mkfs -t ext4 /dev/xvdd 2.挂载磁盘 vim /etc/fstab; mount -a 3.创建datanode数据目录 mkdir -p /data2/HadoopData3/dfs/data/ /data2/HadoopData4/dfs/data/ chown hbase.hbase -R /dat
hadoop之HDFS的扩充
Losteng的博客
12-04 7625
最近在vm中进行扩容之后考虑，openstack的容量添加，随之想起hdfs的容量扩充的问题，从网上查找资料之后，现总结如下： 首先在服务器上大都使用的Linux的系统，实验上大都采用的是centos开源的项目。 在Linux中添加硬盘时，需要考虑的是容量，但是随着硬件资源的扩展现在磁盘的容量可鞥会出现原有系统不能很好的进行 先介绍2种分区表： 　　MBR分区表：（MBR含义：主引导记录）
Hadoop集群hdfs添加磁盘操作
freeRoad
04-14 1208
Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一台cdhmaster（一个namenode，一个datanode），四台cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务器中对每台服务器进行添加磁盘操作： 因为在Linux中，常用2种分区表： MBR分区表（即主引导记录） 所支持的最大分区：2T，而且对分区有限制：最多4个主分区或3个主分区加一个扩展分区[..
大数据之Hadoop(hdfs): DataNode通过添加数据盘扩容
weixin_43597208的博客
05-19 1427
目录1.原由:2.方案：3.步骤：1.第一步：备份hdfs-site.xml配置文件2.第二步：添加数据磁盘、格式化，并挂载到/data2目录3.第三步：创建hdfs数据存储目录4.第四步：修改hdfs-site.xml文件（所有节点），增加dfs.datanode.data.dir数据目录（用逗号分隔)4.补充： 1.原由: 在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容； 2.方案： 最终确定添加datanoe的存储目录的方案； 3.步骤： 1.第一步：备份hdfs-site
Hadoop之NameNode、DataNode
菜如张学清的博客
08-23 5551
Namenode名字节点 对于Namenode的分析，分以下几个部分： 文件系统目录树管理 数据块和数据节点管理 租约管理 租约是Namenode给与租约持有者(客户端)在规定时间内拥有文件权限(写文件)的合同，Namenode会执行租约的发放、回收、检查以及恢复等操作。 缓存管理 2.3新增了集中式缓存管理功能，允许用户将文件和目录保存到HDFS缓存中。...
【Hadoop集群扩展】：datanode扩展的步骤与注意事项
![Hadoop集群](https://img-blog.csdnimg.cn/9992c41180784493801d989a346c14b6.png) # 1. Hadoop集群与Datanode概述 ## 1.1 Hadoop集群简介 ...在Hadoop集群中，Datanode负责存储数据块，并直接与HDFS
从Hadoop集群中移除一块磁盘的操作
weixin_34040079的博客
01-04 1687
2019独角兽企业重金招聘Python工程师标准>>> ...
Datanode节点一块硬盘故障处理
TURING.DT
04-13 7553
今天一台服务器 datanode服务自动停止了，查看datanode  log发现如下报错： org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 1, volumes configured: 2, volumes failed: 1, v
hdfs 配置（namenode ，datanode 如何使用多硬盘）
Open source of memory
01-20 610
 fs.default.name To run HDFS, you need to designate (指派)one machine as a namenode. In this case, theproperty fs.default.name is a HDFS filesystem URI, whose host is the namenode’shostname or IP a...
hadoop 增加存储目录
HanLaotwo的博客
12-28 1825
直接在cdh上配置 HDFS -> 配置 -> datanode ->DataNode 数据目录dfs.data.dir,dfs.datanode.data.dir 增加一个目录，不用提前创建 [root@hs03 dn]# hadoop fs -df -h Filesystem Size Used Available Use% hdfs://hs03
CDH中HDFS多节点磁盘大小不统一问题
cesgo的博客
03-19 7264
开发中遇到集群节点的磁盘空间大小差距比较大，2T到20T不等。由于HDFS的存储机制，数据是分布式均匀存储到节点上，所以会导致空间小的节点先存储满，进一步导致该节点没有多余空间存储各种运行文件而崩溃。运行df -h指令查看节点磁盘使用情况Filesystem                          Size  Used Avail Use% Mounted on/dev/mapper/v...
Hadoop的磁盘大小不一导致节点挂掉
intersting的博客
11-18 2835
问题描述 DataNode挂载的磁盘或者DataNode节点挂载多个磁盘，如果存在一些磁盘大小不一样，数据在落盘时就可能会出现磁盘使用率不均匀的情况，容量较小的盘容易被写满，而容量大的盘还剩很多空间。磁盘写满后，影响Hadoop集群的正常工作。 建好集群后需要将历史记录导入到hbase中，而集群中有三台主机外接了磁盘阵列，主机磁盘阵列大小四十多G，磁盘阵列大概1.6个T。运行将数据写入hbas...
Hadoop环境----自动分区和挂载磁盘
为无为，事无事，味无味。
03-20 2273
前段时间用ambari搭建大数据环境，甲方购买了11台服务器，用于构建大数据环境，每台除了系统盘外，插了24块1.2T的磁盘，在我们接手后，发现这200多块盘真的是“插”上去的，啥都没干，如果一个人一块块的弄，每块3分钟，264块，那就要一天了。咨询了前同事小马哥后，只能自己写脚本挂载。
通过Cloudera Manager为datanode增加数据目录
FaN()
07-26 5576
CDH4安装成功后，datanode数据默认存放在/dfs目录下。如果dfs目录不是逻辑卷创建的，那么当它使用率过大时，我们需要添加数据目录1.登录Cloudera Manager : http://localhost:7180 2.点击配置—>查看和编辑 3.选择你要添加加数据目录的datanode，点击添加 4.如图，我添加了/fan目录，之后点击保存更改 5.保存后，返回实例页面，选择
CDH添加datanode节点与重新平衡
zorsea的博客
11-27 6039
1、配置cloudera-scm-agent 连接的server节点 2、登录CDH web管理界面添加集群节点 3、添加角色实例 4、重启节点 5、更新过期配置信息 6、重新平衡数据存储      ...
Hadoop参数：dfs.name.dir 与 dfs.data.dir
热门推荐
lxpbs8851的专栏
08-05 1万+
dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in a
Hadoop集群NodeManager换成datanode
06-08
抱歉，我可能无法回答您的问题，因为它需要更多的上下文和背景知识。但是，我可以尝试给您提供一些指导。 首先，Hadoop是一个开源的分布式计算框架，用于处理大数据集。它包含多个组件，其中包括Hadoop Distributed File System (HDFS)和Yet Another Resource Negotiator (YARN)。其中，NodeManager和DataNode是YARN和HDFS的两个重要组件。 NodeManager是YARN中的一个代理程序，它负责管理单个节点上的资源和容器。它接收来自ResourceManager的指令，分配容器给应用程序，并监视其进度和资源使用情况。 DataNode是HDFS中的一个代理程序，它负责管理存储在本地磁盘上的数据块。它接收来自NameNode的指令，读取和写入数据块，并向NameNode报告块的状态。 如果您想将NodeManager替换为DataNode，那么这可能意味着您正在尝试将YARN和HDFS中的两个不同组件进行合并。这可能需要进行一些深入的技术调研和开发工作，以确保系统的稳定性和可靠性。 总的来说，这是一个比较复杂的问题，需要更多的背景知识和上下文。如果您有更多的信息和具体的问题，我会尽力帮助您解答。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值