DanyYan的博客

一、Hadoop的来源二、hadoop的子项目三、Hadoop的安装与版本Hadoop 的有三条线并行演化，各个版本的功能是不一样的。所以2.7并不一定比0.23的要新。比如说，0.23这个版本增加了用户认证的功能，但其他的版本确没有此功能。官方地址：https://hadoop.apache.org，官方文档完整，较清晰，不过是英语，其实也是容易读懂的四、HD...

一、mapreduce 设计理念移动计算不移动数据1、split数据切片2、MAP过程3、shuffle过程4、reduce过程二、shuffler过程partition过程默认hash模计算，根据reduce 的数量来决定，分好区后，reduce 自已fetch自己的那个部分后，再merge操作，可以解决所谓的数据倾斜问题。sort排序，为后面的r...

一、HADOOP生态系统HBase是HADOOP的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。二、HBase是什么三、HBase处理数据虽然Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，但是它不适用于提供实时计算;HBase是可以提供实时计算的分布式数据库，数据被保存在H...

在学习Hbase时，官方文档说hbase依赖于zookeeper来管理与跟踪其分布式数据的状态，hregionserver与hmaster都需要向它注册。那什么是zookeeper呢？今天学习一下：1、zookeeper是什么ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。Zo...

一、Thrift是什么          The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work effic...

zookeeper有单机、伪集群、集群三种部署方式，可根据自己对可靠性的需求选择合适的部署方式。下边对这三种部署方式逐一进行讲解。 一、单机安装1.1 下载进入要下载的版本的目录，选择.tar.gz文件下载下载链接：http://archive.apache.org/dist/zookeeper/ 1.2 安装使用tar解压要安装的目录即可，以3.4.5版本为例...

百度才了解到，ubutu的sh设置连接为dash(我的docker 使用的ubutu境像)root@3c511e2e3866:/usr/local/zookeeper-3.4.10/bin# ls -l /bin/sh                  lrwxrwxrwx. 1 root root 4 Feb 17  2016 /bin/sh -> dash设置下：root@...