
hadoop学习
麦片粥
放浪形骸之外
展开
-
hadoop之HDFS、yarn、MapReduce执行原理分析
1、HDFS分布式存储 namenode:统一管理文件的元数据信息 fsImage:存储了文件的基本信息,如文件路径,文件副本集个数,文件块的信息,文件所在的主机信息。 editslog:存了客户端对hdfs中各种写操作的日志(指令); secondaryNamenode:协助namenode完成...原创 2018-06-17 18:49:03 · 944 阅读 · 0 评论 -
linux之hadoop环境搭建
1、centos克隆机,网卡配置克隆机导致网卡直接变为eth1,需要将vi /etc/udev/rules.d/70-persistence-net.rulesaddress值记下来,将name由eth1改为eth0;修改将上面的address改到下面HWADDR。DEVICE改为eth0;然后init6重启系统。就好了。2、jdk的安装,环境变量配置 1、上传tar包 2...原创 2018-06-11 23:47:19 · 249 阅读 · 0 评论