CDH配置机架感知策略

最新推荐文章于 2024-07-14 14:59:22 发布
原创 最新推荐文章于 2024-07-14 14:59:22 发布 · 1.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了CDH中机架感知的重要性，它用于优化任务调度和HDFS数据块备份，减少网络带宽消耗。未配置前所有服务器位于/default机架。配置步骤包括在Cloudera Manager中分配主机机架，然后刷新并重启服务。HDFS配置可通过脚本设置机架感知。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

机架感知是一种计算不同计算节点（TT）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，这里用尽量，想表达的是当一个TT申请不到本地化任务时，yarn会尽量调度一个机架的任务给他，因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然，机架感知不仅仅用在MR中，同样还用在HDFS数据块备份过程中（第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN（系统会尽量避免存储太满和太忙的节点），第二个节点选择于第一个节点不同机架的DN，第三个选择放在第二个DN同一个机架的另一个DN上）

CDH机架感知配置

未配置机架信息前执行命令:

hdfs dfsadmin -printTopology

所有服务器都在/default机架下

配置机架信息:

登录cloudera manger 选择主机 --所有主机

选择主机

 

分配机架

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hadoop 配置机架感知
qq_27347421的博客
02-06 495
HDFS 集群的机架感知 背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...
hadoop机架感知配置——HDFS
weixin_44915822的博客
10-08 5632
编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/apps/hadoop/etc/hadoop/RackAware.py 最后进入到 /export/servers/hadoop-
机架感知配置
weixin_30470643的博客
02-06 138
0、hdfs存放副本的策略： 先存放一个副本在本地机架的一个节点上，然后将第二个副本存放在本地机架的另外一个节点上，最后将第三个副本存放在不同机架的不同节点上 1、配置机架感知Java类 package com.cr.rackAware; import org.apache.hadoop.net.DNSToSwitchMapping; import org.m...
CDH集群配置机架感知策略
ChengYanan的博客
05-22 534
机架感知是一种计算不同计算节点（TT）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，这里用尽量，想表达的是当一个TT申请不到本地化任务时，yarn会尽量调度一个机架的任务给他，因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然，机架感知不仅仅用在MR中，同样还用在HDFS数据块备份过程中（第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN（...
配置机架感知
皮皮的雅客
08-09 437
为了达到hadoop的最佳性能，配置hadoop系统让其了解网络拓扑状况很关键。机架感知是一种优化hadoop集群的方式，使hdfs能更加智能的放置副本(replica),以取得性能和弹性的平衡。 hadoop默认的副本放置策略： 首选在本地机架的一个node存放副本,另一个副本在本地机架的另一个不同节点。最后一个副本在不同机架的不同节点上 如下是自定义机架感知的基本步骤：...
hadoop机架感知原理
qq_32603475的博客
10-11 1327
什么是机架感知 在hdfs中，存储文件是按照block块存储在不同的服务器磁盘上，一个block默认大小为128M，一个大的文件会被分为N个block存储。block会会有副本，hdfs默认副本个数为3个。机架感知就是为了解决hdfs存储的高效和安全性：客户端上传文件，文件的第一个block会存储在客户端所在的datanode，或者是第一个datanode。在默认情况下机架感知是未被开启。 ...
HDFS机架感知，网络拓扑，节点距离计算
zzaliubi的博客
04-21 915
HDFS机架感知 一、网络拓扑、节点距离计算 Distance(/d1/r1/n0, /d1/r1/n0)=0 同一节点上的进程 Distance(/d1/r1/n1, /d1/r1/n2)=2 同一机架上不同节点 Distance(/d1/r1/n1, /d1/r2/n1)=4 同一数据中心，不同机架上的节点 Distance(/d1/r1/n1, /d2/r1/n1)=6 不同数据中心上的节点 二、机架感知 1.机架感知简介 机架感知的存在，是因为HDFS的副本放置策略需要机架感知，并且可以提高集群性能
HDFS中副本存储节点选择——机架感知
m0_56066550的博客
12-09 1947
HDFS中副本存储节点的选择是根据机架感知来选择的。 副本数量默认为3。可以通过配置进行修改，但设置副本数应满足不大于DataNode的数量。比如目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数最多才能达到10。 副本节点选择的原则（以副本数为3举例）： 第一个副本：在Client所在的节点上，如果客户端在集群外，则随机挑选一个节点。 第二个副本：在另一个机架上随机挑选一个节点。 第三个副本：在第二个副本所在的机架内再随机挑选一个节点。 机架感知官方说明（附中文翻译）：
Hadoop机架感知
微信搜：import_bigdata，大数据领域硬核原创作者
04-09 773
倘若世子殿下身死拒北城外会有一断手残脚青年 自中原而来拾春秋剑 入陆地神仙仰头望天而喊我温不胜在此恭请拓跋菩萨赴死！订正：在上篇文中NM类比为部门负责人一段中，段中的RM...
Hadoop rack awareness机架感知
最新发布
HomieJ的博客
07-14 301
rack awareness机架感知：将主机分为数据中心-机架-主机，构建网络拓扑图，三层结构，使用目录将每个主机进行管理起来。副本数少于两倍机架数，一个机架副本数量不能大于两个副本。三副本：本地节点、另一个机架节点、相同机架不同主机。根据客户端请求主机的目录判断远近，来控制哪些节点优先响应。1、编辑节点分配策略 racks.py 赋予执行权限。双副本：本地节点、另一个机架节点。多副本：三副本以外的随机主机节点。打印所有机架主机打印拓扑树。原则：一个主机一个备份。优点：副本策略、保持数据高可靠性。
Hadoop HDFS实现机架感知
v3424的博客
10-14 319
机架感知是什么？ 告诉hadoop集群中的服务器节点属于哪个机柜 实现 我的hadoop解压目录是 /export/servers/hadoop-2.6.0-cdh5.14.0 1.在hadoop解压目录下创建 vim RackAware.py 里面代码如下： #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":
hadoop中的机架感知(Rack aware)
快乐程序员的专栏
05-30 3182
原理 hadoop中声明是有机架感知的功能，能够提高hadoop的性能。 hadoop启动时会检查core-site.xml中的一个配置选项：topology.script.file.name，如果这个选项不为空，hadoop就会认为这是一个可运行脚本，于是在每检测到一个slave连接上jobtracker或者namenode时就会把这个slave的hosts或者IP地址作为参数传给这
HDFS的机架感知策略
weixin_43200014的博客
12-24 1705
  机架感知是一种计算不同计算节点（TT）的距离的技术，用以在任务调度过程中尽量减少网络带宽资源的消耗，这里用尽量，想表达的是当一个TT申请不到本地化任务时，JT会尽量调度一个机架的任务给他，因为不同机架的网络带宽资源比同一个机架的网络带宽资源更可贵。当然，机架感知不仅仅用在MR中，同样还用在HDFS数据块备份过程中（第一个replica选择本节点【如果上传是DataNode】或者随机的一个DN（...
Hadoop之——Hadoop机架感知策略与自定义机架感知实现
冰河的专栏
07-22 2773
转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/81150863 一、Hadoop机架感知策略 副本节点的选择(机架感知) 1、默认 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。 第二个副本在和第一个副本不同机架的随机节点上。 第三个副本和第二个副本相同机架，节点随机。 2、hadoop2.7...
提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？
热门推荐
Shockang的博客
05-31 1万+
写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 机架感知到底是什么？ 通常大型 Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想， NameNode 设法将数据块副本保存在不同的机架上以提高容错性。 HDFS不能够自动判断集群中各个 DataNode 的网络拓扑情况， Hadoop允许集群的管理员通
hadoop--HDFS_机架感知与网络拓扑节点距离计算
FunnyPrince_的博客
09-02 646
目录机架感知二级目录三级目录 机架感知 1.第一个副本选择本地机架，距离近，上传速度快； 2.第二个副本选择远程机架的随机节点，保证数据的可靠性； 3.第三个副本选择第二个副本所在机架的随机节点，而不是其他机架，是同时兼顾可靠性+效率； 二级目录 三级目录 ...
CDH6官方文档中文系列(1)---适用于裸机部署的Cloudera Enterprise参考架构
hanli2020的博客
06-03 3825
适用于裸机部署的Cloudera Enterprise参考架构 最近在学习cdh6的官方文档，网上也比较难找到中文的文档。 其实官方英文文档的阅读难度其实并不是很高，所以在这里在学习官方文档的过程中，把它翻译成中文，在翻译的过程中加深学习了解，并分享出来和大家一起学习。 中文内容是本人的渣渣英文水平结合有道词典，谷歌翻译的结果，文中部分词语可能翻译的并不准确，希望大家多多提出意见，共同进步。 cdh6的官方中文文档系列长期更新，最后目标整理成gitbook，同大家交流学习。 最后，如果你觉得本文对你有用，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值