hadoop机架感知配置——HDFS

最新推荐文章于 2024-05-07 09:48:41 发布
最新推荐文章于 2024-05-07 09:48:41 发布
阅读量5.6k 收藏 2
点赞数 4
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44915822/article/details/108966378
版权

编辑core-site.xml配置文件，将脚本配置为topology.script.file.name的值
进入到
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
的位置编辑core-site.xml配置文件，将下面的代码添加到文件的末尾并保存

topology.script.file.name
/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py

最后进入到
/export/servers/hadoop-2.6.0-cdh5.14.0/sbin
的位置重新启动hadoop的相关节点服务，运行正常后打开浏览器
输入http://192.168.10.201:8088/cluster/nodes
点击Nodes查看是否修改成功

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）

一、编写Python脚本“RackAware.py”

1: 选择主节点进入到

/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

编写Python脚本“RackAware.py”


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    

      

        

            

              
                
                  舰圣
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Hadoop分布式文件系统——HDFS

				
			

			

				

					码上代码的博客
				

				

					01-13
					
					1064
					
				

			

		

		

			
				
Hadoop分布式文件系统——HDFS

一、介绍
二、HDFS 设计原理
    2.1 HDFS 架构
    2.2 文件系统命名空间
    2.3 数据复制
    2.4 数据复制的实现原理
    2.5  副本的选择
    2.6 架构的稳定性
&nbs

			
		

	



                

            
              



	

		

			

				
					
【Hadoop】——HDFS

				
			

			

				

					努力成为自己的榜样。
				

				

					01-04
					
					943
					
				

			

		

		

			
				
一、介绍：



HDFS（Hadoop Distributed File System）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。



二、HDFS设计原理





2.1 HDFS架构



HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：

NameNode: 负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中各个数...

			
		

	



              


  
              

                


	

		

			

				
					
Hadoop 配置机架感知

				
			

			

				

					qq_27347421的博客
				

				

					02-06
					
					491
					
				

			

		

		

			
				
HDFS 集群的机架感知
背景

Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。
Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...

			
		

	





	

		

			

				
					
Hadoop机架感知（rack-aware)配置

				
			

			

				

					蚂蚁搬家
				

				

					06-07
					
					3502
					
				

			

		

		

			
				
副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器...

			
		

	



		

			
		



	

		

			

				
					
机架感知

				
			

			

				

					dengbenji的专栏
				

				

					09-22
					
					504
					
				

			

		

		

			
				

1.背景

     Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让...

			
		

	





	

		

			

				
					
【Hadoop】Hadoop 机架感知配置、原理

				
			

			

				

					weixin_34265814的博客
				

				

					09-13
					
					211
					
				

			

		

		

			
				
Hadoop机架感知
1.背景      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，      同机架内其它某一节点上一份，不同机架的某一节点上一份。      这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；      同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。...

			
		

	





	

		

			

				
					
HDFS机架感知概念及配置实现

				
			

			

				

					s37
				

				

					07-23
					
					4489
					
				

			

		

		

			
				
转自：魔鬼地下室

一、机架感知是什么？

告诉 Hadoop 集群中哪台机器属于哪个机架



二、那么怎么告诉呢？

Hadoop 对机架的感知并非是自适应的，亦即，hadoop 集群分辨

某台 slave 机器是属于哪个 rack 并非是智能感知的，而是需要 hadoop

的管理者人为的告知 hadoop 哪台机器属于哪个 rack，这样在 hadoop

的 namenode 启动初始...

			
		

	





	

		

			

				
					
Hadoop系列（一）——HDFS总结

				
			

			

				

					weixin_46307478的博客
				

				

					07-13
					
					2970
					
				

			

		

		

			
				
HDFS

			
		

	





	

		

			

				
					
hadoop2.7.3  自定义实现机架感知(Java版本)

				
			

			

				

					04-30
				

			

		

		

			
				
博客Hadoop机架感知配置自主实现的jar包 http://blog.youkuaiyun.com/lemonZhaoTao/article/details/70991813

			
		

	





	

		

			

				
					
hadoop 机架感知配置

				
			

			

				

					weixin_30670925的博客
				

				

					07-17
					
					215
					
				

			

		

		

			
				
机架感知脚本
使用python3编写机架感知脚本，报存到topology.py，给予执行权限

import sys
import os

DEFAULT_RACK="/default-rack"
HADOOP_CONF_DIR = os.environ['HADOOP_CONF_DIR']
FILE="topology.data"

host_rack={}
f...

			
		

	





	

		

			

				
					
HDFS机架感知配置

				
			

			

				

					大数据跟我学i
				

				

					10-12
					
					421
					
				

			

		

		

			
				
HDFS机架感知配置
机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。(开源hadoop,使用RackAware.sh）
1.进入hadoop安装包中
例如：
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

2.创建并添加配置信息
vim RackAware.py
添加如下配置信息：

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import 

			
		

	





	

		

			

				
					
Hadoop机架感知配置

				
			

			

				

					Running_Tiger的博客
				

				

					03-14
					
					554
					
				

			

		

		

			
				
Hadoop机架感知配置1、存储策略Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽

			
		

	





	

		

			

				
					
hadoop-机架感知配置

					
热门推荐

				
			

			

				

					qq_21853321的博客
				

				

					10-09
					
					5万+
					
				

			

		

		

			
				
机架感知配置
第一步：

机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  

        "192.168.10.100":"NODE-SW001",  
        "192.168.10.101":"NODE-SW002",  
        "192.168.10.102":"NODE-S

			
		

	





	

		

			

				
					
Hadoop之——机架感知配置

				
			

			

				

					易水寒
				

				

					02-27
					
					575
					
				

			

		

		

			
				
1.背景
      Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程

			
		

	





	

		

			

				
					
HDFS机架感知配置（block放置策略/NodeGroup分配策略配置）

				
			

			

				

					destinyoooooooo的博客
				

				

					09-01
					
					1615
					
				

			

		

		

			
				
1、配置hdfs-site和core-site文件。3、通过命令查看是否配置成功。2、nodegroup示例。

			
		

	





	

		

			

				
					
HDFS机架感知

				
			

			

				

					Dawn的博客
				

				

					03-26
					
					3525
					
				

			

		

		

			
				
原文链接：https://weixiaodyanlei.xyz/archives/hdfs-ji-jia-gan-zhi

Hadoop版本：2.9.2

什么是机架感知
通常大型 Hadoop 集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想，NameNode 设法将数据块副本保存在不同的机架上以提高容错性。
HDFS 不能够自动判断集群中各个 DataNode 的网络状况情况，Hadoop 允许集群的管理员通过配置 net.topology.script.file.

			
		

	





	

		

			

				
					
hadoop_机架感知_详细搭建配置

				
			

			

				

					qq_45798620的博客
				

				

					10-10
					
					3491
					
				

			

		

		

			
				
机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）

#!/usr/bin/python  
#-*-coding:UTF-8 -*-  
import sys  
  
rack = {  
        "12.12.3.1":"SW6300-1",  
        "12.12.3.2":"SW6300-1",  
        "12.12.3.3":"SW6300-1",  
.

			
		

	





	

		

			

				
					
Hdfs的机架感知与副本放置策略

					
最新发布

				
			

			

				

					sheansavage的博客
				

				

					05-07
					
					2538
					
				

			

		

		

			
				
Hdfs的机架感知和副本放置策略是其设计的关键组成部分,有效地提高了数据的可靠性,可用性和性能,使其成为处理大规模数据的理想选择.

			
		

	





	

		

			

				
					
HDFS副本放置策略和机架感知

				
			

			

				

					lcnetwork的专栏
				

				

					07-29
					
					577
					
				

			

		

		

			
				
hdfs作为一种分布式存储组件，数据容错能力是其重要的一个环节。今天我们来谈谈hdfs2.*  block副本存储datanode选择策略的相关原理

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值