v1029179954

一、前言 第一次接触hadoop，hadoop单机、伪分布和完全分布模式。看了资料查了书都是在linux上搭建的，而且都是在虚拟机搭建。但是由于自己对linux不熟悉，所以想在win搭建。正好看的书是在win下搭建的，结果准备去搭建环境。你会发现win下几乎没法完成工作的，很多的开发都是在linux下完成的。至于大数据的hadoop到底是什么，可能现在来看就是分布式存储的一个平台，hadoop的现...

1、需要的工具 centos7 winscp（使用它上传jdk和hadoop的压缩包） putty（远程登录linux） jdk-7u80-linux-x64.tar.gz hadoop-2.6.0-cdh5.7.0.tar.gz（这里的hadoop使用的cdh，现在企业大部分使用这个） 虚拟机vmvare14.X 2、虚拟机配置 https://www.jb51.net/article/1188...

为了更好地理解HDFS读写流程，下面主要以漫画的形式进行的叙述。 一、HDFS写的流程 1、HDFS主要组成（主要了解hadfs构成及其担任的工作） client：客户端（主要发起读和写），可以在javaapi操作，也可以hdfs shell中操作 namenode：全局把控 datanode：存储数据 2、数据分块 默认的情况下，客户端知道一个blocksize是多大和有几个block的副本。...