机架感知

dgit3228 dgit3228 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 179平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄12年
关注
转载 最新推荐文章于 2026-02-26 20:24:37 发布 179 阅读 AI 写同款· GEO 优化 ›
1.背景 

     Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数据要快；同时，如果整个机架的网络出现异常，也能保证在其它机架的节点上找到数据。为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。那么Hadoop是如何确定任意两个节点是位于同一机架，还是跨机架的呢？答案就是机架感知。 

     默认情况下，hadoop的机架感知是没有被启用的。所以，在通常情况下，hadoop集群的HDFS在选机器的时候，是随机选择的，也就是说，很有可能在写数据时，hadoop将第一块数据block1写到了rack1上，然后随机的选择下将block2写入到了rack2下，此时两个rack之间产生了数据传输的流量，再接下来，在随机的情况下，又将block3重新又写回了rack1，此时，两个rack之间又产生了一次数据流量。在job处理的数据量非常的大，或者往hadoop推送的数据量非常大的时候，这种情况会造成rack之间的网络流量成倍的上升，成为性能的瓶颈，进而影响作业的性能以至于整个集群的服务 

2.配置。 

默认情况下，namenode启动时候日志是这样的： 

2013-09-22 17:27:26,423 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/192.168.147.92:50010 

每个IP 对应的机架ID都是 /default-rack ，说明hadoop的机架感知没有被启用。 

要将hadoop机架感知的功能启用，配置非常简单，在NameNode所在节点的/home/bigdata/apps/hadoop-talkyun/etc/hadoop的core-site.xml配置文件中配置一个选项: 

<property> 
  <name>topology.script.file.name</name> 
  <value>/home/bigdata/apps/hadoop-talkyun/etc/hadoop/topology.sh</value> 
</property> 
      这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果非空，则表示已经启用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架ID，保存到内存的一个map中. 

      至于脚本的编写，就需要将真实的网络拓朴和机架信息了解清楚后，通过该脚本能够将机器的ip地址和机器名正确的映射到相应的机架上去。一个简单的实现如下： 

topology.sh: 

#!/bin/bash 
HADOOP_CONF=/home/bigdata/apps/hadoop-talkyun/etc/hadoop 
while [ $# -gt 0 ] ; do 
  nodeArg=$1 
  exec<${HADOOP_CONF}/topology.data 
  result="" 
  while read line ; do 
    ar=( $line ) 
    if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ]; then 
      result="${ar[2]}" 
    fi 
  done 
  shift 
  if [ -z "$result" ] ; then 
    echo -n "/default-rack" 
  else 
    echo -n "$result" 
  fi 
  done 
topology.data,格式为：节点（ip或主机名） /交换机xx/机架xx 

192.168.147.91 tbe192168147091 /dc1/rack1 
192.168.147.92 tbe192168147092 /dc1/rack1 
192.168.147.93 tbe192168147093 /dc1/rack2 
192.168.147.94 tbe192168147094 /dc1/rack3 
192.168.147.95 tbe192168147095 /dc1/rack3 
192.168.147.96 tbe192168147096 /dc1/rack3 
需要注意的是，在Namenode上，该文件中的节点必须使用IP，使用主机名无效，而Jobtracker上，该文件中的节点必须使用主机名，使用IP无效,所以，最好ip和主机名都配上。 

这样配置后，namenode启动时候日志是这样的： 

2013-09-23 17:16:27,272 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /dc1/rack3/ 192.168.147.94:50010 

说明hadoop的机架感知已经被启用了。 

查看HADOOP机架信息命令: 
./hadoop dfsadmin -printTopology 

Rack: /dc1/rack1 
   192.168.147.91:50010 (tbe192168147091) 
   192.168.147.92:50010 (tbe192168147092) 

Rack: /dc1/rack2 
   192.168.147.93:50010 (tbe192168147093) 

Rack: /dc1/rack3 
   192.168.147.94:50010 (tbe192168147094) 
   192.168.147.95:50010 (tbe192168147095) 
   192.168.147.96:50010 (tbe192168147096) 
3.增加数据节点，不重启NameNode 

假设Hadoop集群在192.168.147.68上部署了NameNode和DataNode,启用了机架感知，执行bin/hadoop dfsadmin -printTopology看到的结果： 

Rack: /dc1/rack1 
   192.168.147.68:50010 (dbj68) 
现在想增加一个物理位置在rack2的数据节点192.168.147.69到集群中，不重启NameNode。 
首先，修改NameNode节点的topology.data的配置，加入:192.168.147.69 dbj69 /dc1/rack2,保存。 

192.168.147.68 dbj68 /dc1/rack1 
192.168.147.69 dbj69 /dc1/rack2 
然后，sbin/hadoop-daemons.sh start datanode启动数据节点dbj69,任意节点执行bin/hadoop dfsadmin -printTopology 看到的结果： 

Rack: /dc1/rack1 
   192.168.147.68:50010 (dbj68) 

Rack: /dc1/rack2 
   192.168.147.69:50010 (dbj69) 
说明hadoop已经感知到了新加入的节点dbj69。 
注意：如果不将dbj69的配置加入到topology.data中，执行sbin/hadoop-daemons.sh start datanode启动数据节点dbj69，datanode日志中会有异常发生，导致dbj69启动不成功。 

2013-11-21 10:51:33,502 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1732631201-192.168.147.68-1385000665316 (storage id DS-878525145-192.168.147.69-50010-1385002292231) service to dbj68/192.168.147.68:9000 
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.net.NetworkTopology$InvalidTopologyException): Invalid network topology. You cannot have a rack and a non-rack node at the same level of the network topology.
at org.apache.hadoop.net.NetworkTopology.add(NetworkTopology.java:382) 
at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:746)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3498) 
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:876)
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:91)
at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:20018)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) 
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002) 
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701) 
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697) 
at java.security.AccessController.doPrivileged(Native Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) 
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1695) 

at org.apache.hadoop.ipc.Client.call(Client.java:1231) 
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202) 
at $Proxy10.registerDatanode(Unknown Source) 
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:601) 
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164) 
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83) 
at $Proxy10.registerDatanode(Unknown Source) 
at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolClientSideTranslatorPB.registerDatanode(DatanodeProtocolClientSideTranslatorPB.java:149)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.register(BPServiceActor.java:619) 
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:221)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:660) 
at java.lang.Thread.run(Thread.java:722) 

备忘： 
机架感知 
http://wiki.apache.org/hadoop/topology_rack_awareness_scripts 
http://f.dataguru.cn/thread-24957-1-1.html 
HDFS的副本放置策略（机架感知 rack awareness） 
http://blog.youkuaiyun.com/fiberlijun/article/details/4820266 

查看HADOOP机架信息 
./hadoop dfsadmin -printTopology 

单机测试HDFS多机架模拟 
http://blog.youkuaiyun.com/malik76/article/details/6742962 
cloudera cdh4.2添加datanode节点 含机架配置 
http://www.itinit.net/thread-2539-1-1.html 
构建可伸缩Hadoop集群的方法步骤 
http://m.it168.com/article_1445304_p1.html 

hadoop动态添加datanode和tasktracker 
http://mapserver000-gmail-com.iteye.com/blog/1738898

转载于:https://www.cnblogs.com/jerryshao2015/p/4419617.html

标签
#大数据 #java
原文链接：http://www.cnblogs.com/jerryshao2015/p/4419617.html>
YARN的机架感知功能 最近几天做Hadoop机架感知功能时，在网上可以找到很多关于HDFS机架感知的资料，但是对于YARN机架感知的介绍却很少。这篇文章最主要就是说明机架感知功能对于YARN来说起到的作用，若有理解的偏差请指正。谢谢。 注：代码基于3.1.1 阅读详情

相关推荐

HDFS机架感知

机架感知 目标：掌握集群的机架感知配置 机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh） #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":"SW6300-1", "12.12.

Ele_sorriu的博客 2万+

hadoop_机架感知

hadoop 机架感知简单描述

dongkang123456的博客 1080

Hadoop 配置机架感知

HDFS 集群的机架感知 背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS 解决数据的存储问题；MapReduce解决数据的计算问题。 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS 的核心设计思路就是对 用户存进 HDFS里的所有数据都做冗...

qq_27347421的博客 560

hadoop机架感知

一、机架感知是什么？ 告诉 Hadoop 集群中哪台机器属于哪个机架 二、那么怎么告诉呢？ Hadoop 对机架的感知并非是自适应的，亦即，hadoop 集群分辨 某台 slave 机器是属于...

qq_39888645的博客 770

Python RK3588 MPP 8路视频硬解码！全体目光向我看齐！

本文重写了官方demo、加入了Zlmediakit进行拉流并通过pybind11将代码封装成so库，现在，在python中直接通过import的方式，就能完成基础的拉流解码操作，目前支持8路拉流解码！！！

m0_46303486的博客 4878

数字IC设计避坑指南：为什么477条net的DRV问题无法修复？解析don‘t touch hierarchy的影响

本文深入解析了数字IC后端实现中，因“don't touch hierarchy”约束导致大量DRV违规（如477条net）无法自动修复的根本原因。文章以Cadence Innovus工具为例，详细阐述了DRV修复机制与设计保护约束的冲突原理，并提供了从日志定位、风险评估到分级解除约束的完整实战策略，帮助工程师有效解决此类设计收敛难题。

hope8的博客 288

Hadoop HDFS实现机架感知

机架感知是什么？ 告诉hadoop集群中的服务器节点属于哪个机柜 实现 我的hadoop解压目录是 /export/servers/hadoop-2.6.0-cdh5.14.0 1.在hadoop解压目录下创建 vim RackAware.py 里面代码如下： #!/usr/bin/python #-*-coding:UTF-8 -*- import sys rack = { "12.12.3.1":"SW6300-1", "12.12.3.2":

v3424的博客 374

永磁同步电机矢量控制（十一）——基于损耗模型的PMSM效率优化策略

本文深入探讨了永磁同步电机(PMSM)基于损耗模型的效率优化策略，详细分析了铜损和铁损的构成与建模方法，并提出了最小损耗控制策略的实现方案。通过与传统MTPA控制的对比，展示了在不同工况下的效率提升效果，同时讨论了工程实现中的关键问题与解决方案，为PMSM的高效运行提供了理论支持和实践指导。

7z8x2c4v6b9的博客 230

Hadoop机架感知（rack-aware)配置

副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器...

蚂蚁搬家 3589

WEBGL Shader零基础教程(四):片元着色器核心逻辑

本文系统介绍了WebGL渲染管线中片元着色器的核心概念与应用。主要内容包括：1）片元着色器在渲染管线中的定位与作用，作为逐像素处理单元接收插值数据并计算最终颜色；2）输入数据类型与使用规则，重点讲解varying变量和uniform变量的应用场景；3）颜色计算的核心逻辑，涵盖基础色、渐变、纹理采样和颜色混合；4）进阶特效实现与性能优化技巧，包括交互效果、内置函数组合和GPU计算优化；5）通过综合案例演示了纹理、波纹与交互效果的整合实现。文章提供了完整的代码示例和调试建议，为后续学习光照模型、后期处理等高级渲

分享知识，拥抱变化 1373

pgsql：还原数据库后出现重复序列导致“more than one owned sequence found“报错问题的解决

pgsql数据库通过备份数据库文件进行还原时，如果表中有自增序列，还原后可能会出现重复的序列，此时若向表中插入新行时会出现“more than one owned sequence found”的报错提示。还原数据库时把序列取消勾选，选择不还原序列。因为还原表的同时，会自动将自增序列还原上去，此处勾选会导致数据库重复创建序列。点击还原数据库完毕后，可以看到序列仅有一个，没有出现重复序列。但此时的序列当前值是从1开始的，需要重置。点击菜单“其它”-》“序列”，可以看到有多个重复序列。

奋斗鱼 1042

HDFS 集群的机架感知

HDFS 集群的机架感知1、背景1.1、Hadoop 的设计目的1.2、Hadoop 的设计考虑1.3、副本存放策略2、配置机架感知2.1、修改配置文件 core-site.xml2.2、验证机架感知3、补充3.1、增加 datanode 节点3.2、节点间距离计算4、学习内容 1、背景 1.1、Hadoop 的设计目的 解决海量大文件的处理问题，主要指大数据的存储和计算问题。 其中，HDFS 解决数据的存储问题；MapReduce 解决数据的计算问题。 1.2、Hadoop 的设计考虑 设计分布式的存储和

weixin_44387652的博客 2864

17、神经网络训练算法与高阶模糊Cohen - Grossberg神经网络稳定性分析

本文介绍了一种新的数据驱动算法用于神经网络训练，该算法继承三次样条权重函数的优点，具有简单架构和良好泛化性能，并通过并行机制显著提升训练速度。同时，研究了高阶模糊Cohen-Grossberg神经网络（HOFCGNN）在可变及无界延迟下的稳定性，利用M矩阵理论和向量Lyapunov函数方法，证明了系统平衡点的存在性、唯一性和全局指数稳定性。研究成果为神经网络的高效训练与稳定应用提供了理论支持和技术路径。

b9c0d的博客 147

Hdfs的机架感知与副本放置策略

Hdfs的机架感知和副本放置策略是其设计的关键组成部分,有效地提高了数据的可靠性,可用性和性能,使其成为处理大规模数据的理想选择.

sheansavage的博客 2810

解锁轻量化网络实验室：在 Containerlab 中部署 Cisco IOL 设备的详细教程

Cisco IOS On Linux（IOL）是 Cisco IOS-XE 的简化版，它是 Cisco IOS 的一种轻量级实现。IOL 并不需要完整的虚拟机（Virtual Machine, VM）环境，可以直接在 Linux 上运行，极大地减少了对系统资源的需求。IOL 节点通过更精简的方式提供了 Cisco IOS 功能，适合构建实验室、测试网络协议和验证网络设计。

网络技术联盟站 476

GTK4 入门到实战

本文介绍GTK4作为主流Linux GUI工具包的发展历程与核心特性，涵盖其从GIMP项目诞生的自由软件理念、版本演进及跨平台支持。重点解析GTK4的架构（GDK/GSK/GLib等）、GObject对象系统、信号-回调机制与事件驱动模型，并以C语言为例，结合开发环境搭建与官方示例（gtk4-demo）指导实践，最终通过图片查看器与多标签编辑器项目实现完整应用开发。

OneSea 1390

HDFS 机架感知

机架感知（Rack Awareness）是Hadoop分布式文件系统（HDFS）中的一个重要概念，它有助于优化数据存储和网络流量管理。

┄╀贝☆壳★━ 1220

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Hadoop之机架感知

在分布式集群下，由于机架的的槽位和交换机网口数量的限制，使得集群上的机器不得不跨越机架，通常一个大型的集群会跨越很多机架。一般情况机架内机器的通讯会快于跨机架机器之间的通讯，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。   通过机架感知，可以带来性能和安全性的提升，例如：HDFS块为了故障容错，采用机架感知按到一定的策略将某些块放置在不同的机架上，这样就算一个机架瘫痪也不会影...

qianshanding0708的博客 6196

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具，可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

hdfs 机架感知

一、背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为: 第一个block副本放在客户端所在的数据节点里（如果客户端不在集群范围内，则从整个集群中随机选择一个合适的数据节点来存放）..

weixin_49539546的博客 1757

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？

写在前面 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系 解答 机架感知到底是什么？ 通常大型 Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想， NameNode 设法将数据块副本保存在不同的机架上以提高容错性。 HDFS不能够自动判断集群中各个 DataNode 的网络拓扑情况， Hadoop允许集群的管理员通

Shockang的博客 1万+

hadoop机架感知原理

什么是机架感知 在hdfs中，存储文件是按照block块存储在不同的服务器磁盘上，一个block默认大小为128M，一个大的文件会被分为N个block存储。block会会有副本，hdfs默认副本个数为3个。机架感知就是为了解决hdfs存储的高效和安全性：客户端上传文件，文件的第一个block会存储在客户端所在的datanode，或者是第一个datanode。在默认情况下机架感知是未被开启。 ...

qq_32603475的博客 1414

HDFS机架感知概念及配置实现

Hadoop机架感知(Rack Awareness)是分布式集群中保障数据高可用与性能优化的关键机制。本文系统解析了其核心原理与实践方法：通过手动配置节点与机架的映射关系，Hadoop能智能规划数据副本分布，实现跨机架容错(避免单机架故障)和网络流量优化。文章详细阐述了配置方式（脚本动态解析/静态文件）、数据放置策略（优先跨机架分布副本）以及网络拓扑距离计算，并提供了Python/Java脚本示例。最佳实践建议在中大型跨机架集群中启用该功能，同时注意脚本健壮性和权限管理。正确配置机架感知能显著提升数据可靠性

ywl470812087的博客 10万+
上一篇： awk实现求和、平均、最大值和最小值的计算操作
下一篇： 进程优先级、nice值
点赞 0
评论 0
书签 书签 0
dgit3228
dgit3228
博客等级 码龄12年 2粉丝 0原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值