网维的木棉后记

yum install postgresql-develrpm -ivh --prefix=/data1/greenplum/greenplum-db-6.16.2/pxf /data1/greenplum/greenplum-db-6.16.2/pxf-gp6-6.0.1-2.el7.x86_64.rpmsed：无法读取 /usr/local/pxf-gp6/gpextable/pxf.control：没有那个文件或目录sed：无法读取 /usr/local/pxf-gp6/gpextable.

服务器9台，2台master/master_standby,7台datanodeip 机器名 namenode second namenode datanode nodemanager resourcemanager hive zookeeper hdfs mysql ntp 192.168.1.101 cdh1 1 1 1 1 1 1 1 192.168.1

IP JDK ZK NN RM DN NM JN 10.30.21.58 y y y 10.30.21.59 y y y 10.30.21.60 y y y y y 10.30.21.61 y y y y y 10.30.21....

在了解Quorum机制之前，先回顾一下数据一致性强一致性：在任意时刻，从任意不同副本取出的值都是一样的。 弱一致性：有时泛指最终一致性，是指在任意时刻，可能由于网络延迟或者设备异常等原因，不同副本中的值可能会不一样，但经过一段时间后，最终会变成一样。显然，我们更想要做到强一致性的这种效果，那么有哪些方式可以实现呢，其中最为简单直接的就是WARO，也就是Write All Read one。WARO协议是一种简单的副本控制协议，当 Client 请求向某副本写数据时（更新数据），只有当所有的副

框架 版本号 Hadoop 3.1.2 Hive 3.1.2 Tez 0.9.2 一 编译 tez 0.9.2下载tez的src.tar.gz源码包，附官方下载链接（http://tez.apache.org/releases/index.html)需要在pom.xml中更改hadoop.version属性的值，以匹配所使用的hadoop分支的版本。编译mvn clean package -DskipTests=true -Dhadoop.vers.

zookeeper，是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。每个子目录项如 NameService 都被称作为 znode(目录节点)，和文件系统一样，我们能够自由的增加、删除znode，在一个znode下增加、删除子znode，唯一的不同在于znode是可以存储数据的。有四种类型的znode： PERSISTENT-持久化目录节点...

Hadoop分布式文件系统（HDFS）是为了存储海量数据，并为分布在网络中的大量客户端提供数据访问。   能够保存的数量在TB或者PB级，将数据散布在大量机器上，并且可靠地存储数据，使用数据复制方法。   高速流式读取，顺序读取，避免查找。   是一种块结构的文件系统。单个文件被拆分成固定大小的块，而这些块号村在HADOOP集群上。一个文件可以由多个块组成，这些块存储在不同的DataN