ssyes123的博客

1，hdfs 和 mapreduce都是主从关系，分布式架构。 2，hdfs有一个主节点NameNode和多个从节点DataNode。 3，NameNode含有存储文件信息的元数据信息。在运行过程中把数据加载到内存。 4，当NameNode里的全部元数据无法加载到内存时，集群就要扩展。 5，小文件(1M,2M)的存储，造成NameNode的存储所占内存压力增大。 6，hdfs两个Name...

在上一节 hadoop搭建的继承上，继续搭建spark环境 上一节地址：hadoop-2.7.5 完全分布式集群搭建 （1）配置scala 机器1：node1(192.168.0.211) 主节点 机器2：node2(192.168.0.212) 从节点 机器3：node3(192.168.0.213) 从节点 scala包：scala-2.12.2.tgz，上传到/opt/目录下 ...

hadoop-2.7.5 完全分布式集群搭建   （1）Centos 64bit操作系统 三台Centos操作系统，node1作为主节点，node2，node3为从节点   （2）配置三台机器的/etc/hosts 在三台机器的/etc/hosts中加入一下ip及hostname 加入之后的hosts文件如下，   注：(此处可以修改，也可以不修改)永久修改主机的ho...