黑白影的博客

一、前置条件Hadoop的运行依赖JDK，需要预先安装，安装步骤见：Linux下JDK的安装二、配置免密登录Hadoop组件之间需要基于SSH进行通讯。2.1 配置映射配置ip地址和主机名映射：vim /etc/hosts# 文件末尾增加192.168.43.202 hadoop0012.2 生成公私钥执行下面命令行生成公匙和私匙：ssh-keygen -t rs...

一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。 二、前置条件Hadoop的运行依赖JDK，需要预先安装。其安装步骤单独整理至：Linux下JDK的安装三、配置免密登录3.1 生成密匙在每台主机上使用ssh-keygen命令生成...

一、高可用简介Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解：1.1 高可用整体架构HDFS 高可用架构如下： 图片引用自：https://www.edur...

一、安装Hive1.1 下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。下载地址：http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz1.2 配置环境变量# vim /etc/profile添加环境变量：export HIVE_HOME=...

一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。 二、前置条件搭建Spark集群...

1. 安装环境要求you need to install Storm’s dependencies on Nimbus and the worker machines. These are:Java 7+ (Apache Storm 1.x is tested through travis ci against both java 7 and java 8 JDKs)Python 2.6...

一、集群规划这里搭建一个3节点的Storm集群：三台主机上均部署Supervisor和LogViewer服务。同时为了保证高可用，除了在hadoop001上部署主Nimbus服务外，还在hadoop002上部署备用的Nimbus服务。Nimbus服务由Zookeeper集群进行协调管理，如果主Nimbus不可用，则备用Nimbus会成为新的主Nimbus。 二、前置条件Storm 运行依...

一、安装前置条件说明1.1 JDK版本说明HBase 需要依赖JDK环境，同时HBase 2.0+ 以上版本不再支持JDK 1.7 ，需要安装JDK 1.8+ 。JDK 安装方式见本仓库：Linux环境下JDK安装1.2 Standalone模式和伪集群模式的区别在Standalone模式下，所有守护进程都运行在一个jvm进程/实例中；在伪分布模式下，HBase仍然在单个主机上运...

一、集群规划这里搭建一个3节点的HBase集群，其中三台主机上均为Regin Server。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002上部署备用的Master服务。Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。 二、前置条件HBase的运行需要依赖Hadoop...

一、Azkaban 源码编译1.1 下载并解压Azkaban 在3.0版本之后就不提供对应的安装包，需要自己下载源码进行编译。下载所需版本的源码，Azkaban的源码托管在GitHub上，地址为https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码，也可以使用wget直接下载对应release版本的tar.gz文件，这里我采用第二种方...

一、前置条件Flume需要依赖JDK 1.8+，JDK安装方式见本仓库：Linux环境下JDK安装二 、安装步骤2.1 下载并解压下载所需版本的Flume，这里我下载的是CDH版本的Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flume-ng-1.6.0-cdh5.15.2.tar....

一、单机环境搭建1.1 下载下载对应版本Zookeeper，这里我下载的版本3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz1.2 解压# tar...

一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。1.1 下载 & 解压下载对应版本Zookeeper，这里我下载的版本3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/# 下载wget https://archive.apache...