
hadoop
ZXP_LV_STUDY
这个作者很懒,什么都没留下…
展开
-
Hadoop权威指南——HDFS笔记
HDFS:Hadoop Distributed FileSystemHDFS以流式数据访问模式来存储超大文件,运用于商用硬件集群上。HDFS不支持多次写入。数据块:首先确定一点,磁盘以数据块的大小进行数据的读/写操作,构建于磁盘之上的文件系统通过磁盘块来管理文件系统中的块,文件系统块的大小通常为磁盘块的好几倍。HDFS中也存在块的概念,默认为64MB,与其他文件系统不同的是,如果一个文件小于块的大...原创 2018-05-21 18:07:51 · 202 阅读 · 0 评论 -
VirtualBox+Ubuntu16.04.4+Hadoop-2.6.5搭建
搭建这个环境真的是一把辛酸泪,不说了。赶紧记一下遇到的坑,防止之后再落入。前提:搭环境之前一定要先去了解一下hadoop大致的工作原理,懂得它的一些专业名词,比如JobTracker,TaskTracker,DataNode,NameNode等等,以及他们的作用,只有这样才不会一头雾水,我就是一开始就直接搭环境,一脸懵逼,最后只只能去恶补原理。我是用完全分布的方式来搭建hadoop的环境1.环境:...原创 2018-05-15 15:33:57 · 460 阅读 · 0 评论