fghtv的学习空间

MapReduce的基本定义MapReduce是面向大数据并行处理的计算模型、框架和平台。包含的三层含义：MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure） MapReduce是一个并行计算与运行软件框架（Software Framework） MapReduce是一个并行程序设计模型与方法（Programming Model And Methoddology）MapReduce的特点MapRuduce基于Google发布的分布式计算框

HDFS的架构图 Heartbeats：心跳机制 Banlancing：均衡机制 Replication：副本机制元数据存放的位置<property> <name>dfs.namenode.name.dir</name> <value>file://export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</valu

HDFS介绍HDFS是Hadoop Distribute File System的简称，Hadoop分不是文件系统。Hadoop的核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。基本系统架构Namenode：用于存储、生成文件系统的元数据，运行一个实例维护所有系统中存在的文件和目录的文件系统树和元数据Datanode

为什么要编译hadoop由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，好了废话不多说，接下来看如何编译编译环境的准备准备linux环境：虚拟机联网，关闭防火墙，关闭selinux准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统（注意：一定要使用64.

第一步：下载apache hadoop并上传到服务器下载链接：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz解压命令cd /export/softwarestar -zxvf hadoop-2.7.5.tar.gz -C ../servers/修改配置文件第一台机器执行以下命令cd /export/servers/hadoop-2.7.5/etc/hadoop..

概述Zookeeper是一个分布式协调服务的开源框架。主要用于解决分布式集群中应用系统的一致性问题，本质是一个分布式的小文件系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效控制，从而用来维护和监控存储的数据的状态变化。通过集群数据状态的变化，从而可以达到基于数据的集群管理。架构图Leader：Zookeeper集群工作的核心事务请求（写操作）的唯一调度和处理者，保证集群事务处理的顺序性；集群内部各个服务器的调度者。对于create，setData，delet

三台虚拟机关闭防火墙三台机器执行以下命令对防火墙进行关闭（使用root用户）systemctl stop firewalld #临时关闭重启会再启动systemctl disable firewalld #永久关闭防火墙三台机器都关闭selinux三台主机更改主机名hostnamectl set-hostname 主机名三台机器做主机名与IP地址的映射192.168.94.100 node01 node01.hadoop.com192.168.94..