- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop中HDFS是怎么维护数据的
HDFS文件的系统中，是将文件分为多个block进行存储的，并将存储的block赋值多个副本，存储在不同的主机上，那么HDFS是怎么来维护这些数据的呢，一：文件是存储在哪里？首先，hafs文件系统中，文件是存储在哪里。很多人会说，当然存储在磁盘上，如果真的只是存储存在磁盘上，那么从hdfs中读取文件，将变得非常的缓慢，而hadoop是处理大量的数据，这就会使存储与读取的速度更加的缓慢，ha
2016-03-27 16:10:57
2117
原创 Hadoop的HDFS机制
HDFS是Hadoop的分布式文件存储系统，HDFS的组成是通过NameNode与DataNodes来管理，其中NameNode只有一个，用来管理文件系统的元数据，元数据就是一个文件的基本信息，在windows系统中，一个文件的元数据可以通过属性或者通过详细信息可以查看，主要包括：文件名，文件的创建的时间，文件的大小，文件的所有者等。在HDFS中一个文件是被分为不同块来存储的，因此，NanmeNo
2016-03-27 14:45:53
459
原创 Hadoop中常见问题汇总
在hadoop中的学习中经常会出现不同的问题,今天对一些问题进行汇总。问题一：org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable在安装好VM以及Linux
2016-03-27 13:32:55
581
原创 Hadoop2.7.2的部署
Hadoop是一个apache的开源框架，在目前大数据流行的时代，Hadoop作为分析海量数据的工具已经越来越得到各个行业的应用，现在就是简要介绍一下Hadoop2.x的自己的认识，Hadoop在1.0的时代已经得到了广泛的应用，目前Hadoop在2.0也增加了新的特性，比如在Hadoop在2.x版本增加了yarn框架，yarn框架其实是对1.x的Hadoop的jobtracker与tasktra
2016-03-21 13:58:58
1148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人