weixin_41380194的博客

1.新建2.填写虚拟机名称 此处因为搭建hadoop集群所以名称为node033.内存设置建议1G4.选择现在创建虚拟硬盘5.选择VDI6.动态分配7.如图8.创建好了虚拟机。9.设置此虚拟机此处注意选择桥接网络 这样建立的linux可以相互访问。此处选择镜像。10设置完成，后启动虚拟机11.选择对的镜像，点击启动12选择第一个，会从镜像安装linux系统注意：virtualBox点击虚拟机后，鼠标无法出来，点击ctrl键即可13 测试硬盘，选择跳过1

ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。就是不会加载/etc/profile文件可以免密登陆别的机器时，如果需要环境变量可以先加载环境变量，然后在执行命令。例如：ssh root@192.168.11.26 ’ source /etc/profile ; echo $PATH’即可伪分布式模式：单节点，所有的角色NN，DN在一台机器上完全分布式模式：多节点，NN和DN不在一台机器上...

Hadoop项目包括 1.Hadoop Common 公共模块 2.Hadoop Distributed File System(HDFS) 分布式文件系统。3.Hadoop YARN 资源管理系统 4.Hadoop MapReduce 计算系统HDFS文件系统：利用多台机器存储大量的文件，有一个机器会记录哪个文件存储在哪台机器上。当文件存储成功后才会记录，为了保证一致性。只有一台机器记录信息，如果是多台，可能发生数据不一致的情况。分布式文件系统那么多，为什么hadoop项目中还要开发一个h..

架构设计1.HDFS是一个主从架构主从就是两个都在工作，两者之间是协作关系。主备就是主工作，备不工作。2.由一个NameNode和一些DataNode组成NameNode就是主 DataNode就是从3.面向文件包含：文件数据和文件元数据（属性）4.NameNode负责存储和管理文件元数据，并且维护了一个层次的文件目录树5.DataNode负责存储文件数据（block块），并提供block的读写6.DataNode与NameNode维持心跳，并汇报自己持有的block信息。7.Cli