caiyefly的博客

一：部署1，nodeManager在物理机上应该跟datanode在一起      map端将来会到HDFS上读取数据      reduce端将来会写数据到HDFS上2，resource Manager 应该独立部署在一台物理机上。二：说明1，yarn是一个分布式程序的运行调度平台。2，yarn集群就安装在HDFS集群的机器上3，角色分配           

一，Hbase的介绍与个人理解1，Hbase是一个分布式数据库，主要用来做联机的事务处理。它是一个No SQL 数据库。里面存储的数据都是K,V类型的数据，与另一个分布式数据库Redis类似。而不同于Mysql中的数据库表模型（三范式）。2，Hbase具备实时的增删改查功能，以后我们做实时的数据分析，可以将结果存入Hbase，Redis中。分布式数据库的优点：可以动态扩容，负载能力可以动态

1，创建一张表import java.io.FileInputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import

一，zookeeper的作用1，替用户管理小体量的数据。（比如：帮助Hbase管理顶级索引信息）2，替用户监听指定的数据（当数据发生变化时，用户会得到通知。比如：在典型的Kafka集群中, Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consum

HDFS（分布式文件系统）一：作用为了解决大量文件存储的问题，hadoop提供了一个组件HDFS。可以将文件分散到不同的服务器上。二：角色分配分为namenode跟datenode。namenode主要作用：存储目录信息，存储元数据信息，管理datenode。datenode主要作用：存储具体的文件的block块。三：详细介绍namenode1，记录元数据信息：文件

简介Kafka使用zookeeper作为其分布式协调框架，很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper，kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下，建立起生产者和消费者的订阅关系，并实现生产者与消费者的负载均衡。 从拓扑结构看kafka与zookeeper的关系： 如上图所示，在典型的Kafka集群中, Kafk

安装Hadoop-2.8.0集群问题整理原因：主机名与ip映射出现问题，导致其它节点找不到namenode。主机名不能带有下划线。 问题描述：使用start-all.sh启动后，使用jps查看没有namenode进程。其它节点也没有datenode进程。Log中报错（namenode）java.lang.IllegalArgumentException: