hadoop
关注
分享
扫一扫
beginning1126
这个作者很懒，什么都没留下…
展开
-
hadoop---概述
记得几年前，研究过一段时间hadoop，当时研究的还很浅显，理解也不深入，准备接下来的一个月，结合这几年的工作经验，重新梳理一下hadoop目前能想到的hadoop知识点包括：环境搭建（略过）eclipse maven环境搭建（略过）hdfs，系统架构、常用命令、本地api接口、远程api接口、源码分析mapreducehbasezookeeper其它相关项目接下来会根据以原创 2016-10-18 11:41:06 · 390 阅读 · 0 评论 -
hadoop---hdfs
hdfshdfs概念block类似于unix文件系统，hdfs也有block的概念，默认是128MB，但是和unix文件系统不同的是，1个1MB的文件，不会占用一个block的全部大小，仍然只占用1MB空间。block的用途：一个大文件会被分割为多个block，这样一个大文件如果在单机存储不下，可以分割成小的block分若干台机器存储每个block大小相同，存储管理会简原创 2016-10-18 15:03:51 · 638 阅读 · 0 评论