- 博客(6)
- 收藏
- 关注
RSS订阅转载 Hadoop是如何确定任意两个节点是位于同一机架（机架感知）
转自http://blog.youkuaiyun.com/xyls12345/article/details/393736211.背景 Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。这样如果本地数据损坏，节点可以从同一机架内的相邻节点拿到数据，速度肯定比从跨机架节点上拿数
2016-12-18 21:02:46
3306
原创 hadoop配置文件mapred-site.xml
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.
2016-12-17 14:42:42
12579
原创 hadoop配置文件hdfs-site.xml
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.
2016-12-17 14:24:41
16647
原创 hadoop配置文件core-site.xml
Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.
2016-12-17 14:19:46
15889
2
转载 hadoop 中hdfs-site.xml RPC HTTP TCP/IP 服务器的用途
hadoop 守护进程一般同时运行RPC和HTTP两个服务器，RPC服务器支持守护进程间的通信，HTTP服务器则提供与用户交互的Web页面。需要分别为各个服务器配置网络地址和端口号。当网络地址被设为 0.0.0.0的时候，Hadoop将于本机上所有的地址绑定。用户也可以将服务器与某个指定的地址绑定。端口号为0 表示服务器会选择一个空闲的端口号：但这种做法与集群范围的防火墙策略不兼容，因为防火墙
2016-12-17 13:12:41
612
转载 namenode 格式化 -format
文章转自：http://blog.youkuaiyun.com/xhh198781/article/details/6904615 在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是
2016-12-15 15:41:56
9829
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人