caiyefly的博客

一：部署 1，nodeManager在物理机上应该跟datanode在一起       map端将来会到HDFS上读取数据       reduce端将来会写数据到HDFS上 2，resource Manager 应该独立部署在一台物理机上。 二：说明 1，yarn是一个分布式程序的运行调度平台。 2，yarn集群就安装在HDFS集群的机器上 3，角色分配            

一，Hbase的介绍与个人理解 1，Hbase是一个分布式数据库，主要用来做联机的事务处理。它是一个No SQL 数据库。里面存储的数据都是K,V类型的数据，与另一个分布式数据库Redis类似。而不同于Mysql中的数据库表模型（三范式）。 2，Hbase具备实时的增删改查功能，以后我们做实时的数据分析，可以将结果存入Hbase，Redis中。分布式数据库的优点：可以动态扩容，负载能力可以动态

1，创建一张表 import java.io.FileInputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import

一，zookeeper的作用 1，替用户管理小体量的数据。（比如：帮助Hbase管理顶级索引信息） 2，替用户监听指定的数据（当数据发生变化时，用户会得到通知。比如：在典型的Kafka集群中, Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consum

HDFS（分布式文件系统） 一：作用 为了解决大量文件存储的问题，hadoop提供了一个组件HDFS。可以将文件分散到不同的服务器上。 二：角色分配 分为namenode跟datenode。 namenode主要作用：存储目录信息，存储元数据信息，管理datenode。 datenode主要作用：存储具体的文件的block块。 三：详细介绍namenode 1，记录元数据信息：文件

简介 Kafka使用zookeeper作为其分布式协调框架，很好的将消息生产、消息存储、消息消费的过程结合在一起。同时借助zookeeper，kafka能够生产者、消费者和broker在内的所以组件在无状态的情况下，建立起生产者和消费者的订阅关系，并实现生产者与消费者的负载均衡。   从拓扑结构看kafka与zookeeper的关系：   如上图所示，在典型的Kafka集群中, Kafk

安装Hadoop-2.8.0集群问题整理 原因：主机名与ip映射出现问题，导致其它节点找不到namenode。主机名不能带有下划线。   问题描述：使用start-all.sh启动后，使用jps查看没有namenode进程。其它节点也没有datenode进程。 Log中报错（namenode） java.lang.IllegalArgumentException: