DWJ的博客

spark集群搭建需要使用到Hadoop环境，所以在搭建spark集群之前，需要先搭建Hadoop环境，可以参考之前写的 Hadoop—HA集群搭建一、准备工作除了上面所说的Hadoop环境外，spark集群搭建还需要配置scala环境，scala环境的配置类似于jdk配置，比较简单，只需下载对应版本的包，解压，在配置文件中添加SCALA_HOME环境变量就可以了，这里就不在做详细说明。搭建环境：C

1）hadoop-ha集群运作机制介绍 所谓HA，即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制2）HDFS的HA机制 通过双namenode消除单点故障 双namenode协调工作的要点： A、元数据管理方式需要改变： 内存中各自保存一份元数据 Edits日志只能有一份，只有Acti

HBase是bigtable的开源山寨版本。 是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写(支持联机业务)的数据库系统。 所以在搭建Hbase集群之前需要先搭建Hadoop集群，可以参见我前面写的 Hadoop—HA集群搭建。HBase集群结构示意图搭建环境：CentOS release 6.5 (Final) + jdk1.8.0_131 这里使用三台服务器来搭建，

配置的机制：在登陆方生成密钥对，然后将公钥复制给目标主机，在目标主机上将这个公钥加入授权文件 ~/.ssh/authorized_keys (该文件的权限: 600)1）在登录方生成密钥对，执行脚本命令ssh-keygen2）复制给目标主机，执行脚本命令ssh-copy-id node1ssh-copy-id node2ssh-copy-id node3此时就可以免密登录 nod

从Apache网站上（zookeeper.apache.org）下载ZooKeeper软件包，我选择了3.4.6版本的（zookeeper-3.4.6.tar.gz），下面说明Linux下分布式模式的安装配置，过程如下所示：这里使用三台服务器来搭建，分别为node1、node2、node3； 对应的ip为：192.168.1.11、192.168.1.12、192.168.1.13在搭建之前先配置

flume的一些核心概念: Agent： 使用JVM 运行Flume。每台机器运行一个agent，但是可以在一个agent中包含多个sources和sinks。 Client： 生产数据，运行在一个独立的线程。 Source： 从Client收集数据，传递给Channel。 Sink： 从Channel收集数据，运行在一个独立线程。 Chann

安装Kafka 1.1 下载解压 下载地址：http://kafka.apache.org/downloads，如0.10.1.0版本的Kafka下载wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgztar -xvf kafka_2.11-0.10.1.0.tgzcd kafka_2.11-0....