大数据集群的搭建以及开发

大数据集群的搭建以及开发

 

目录

 

一． 搭建环境准备.......................................................................................................... 2

1.1 操作系统版本支持............................................................................................... 2

1.2 java-jdk的版本支持............................................................................................... 3

1.3 大数据相关组件对数据库的依赖版本配置............................................................ 4

1.4大数据各个框架的资源分配情况........................................................................... 4

1.5Cloudera-manager 技术架构.................................................................................. 5

二 大数据集群搭建.......................................................................................................... 6

2.1 配置ip,主机名，hosts映射.................................................................................. 6

2.2 禁用ipv6............................................................................................................. 7

2.3 防火墙的关闭以及selinux的关闭(所有节点)......................................................... 8

2.4 集群的免秘钥登录（所有节点）.......................................................................... 8

2.5 JDK 的安装.......................................................................................................... 8

2.6  时间同步服务器的配置...................................................................................... 9

2.7修改用户可以使用资源的最高限制（所有服务器上）.......................................... 12

2.8 mysql的安装部署 （只在10.10.20.45 这台服务器上安装）................................ 12

2.8.1 卸载系统自带的mysql依赖包................................................................... 13

三  CM的安装部署........................................................................................................ 16

3.1  安装CM所需要的第三方依赖包（所有服务器上）........................................... 16

3.2 在10.10.20.45 server节点上创建目录并解压...................................................... 16

3.3 修改CM的配置文件.......................................................................................... 16

3.4 拷贝cloudera-manager目录给其他节点.............................................................. 17

3.5 创建一个CM专门使用的普通用户（所有服务器上）......................................... 17

3.6 配置CM在mysql中的相关权限并进行初始化操作............................................. 17

3.7 进行初始化操作 （使用CM自带的初始化脚本）.............................................. 18

3.8 配置CDH源....................................................................................................... 18

3.9 启动cloudera-manager的服务进程..................................................................... 19

四 访问web-ui界面........................................................................................................ 20

4.1 分配不同组件架构到不同主机............................................................................ 24

4.2Kafka安装包准备：............................................................................................. 27

五windows下开发大数据平台......................................................................................... 29

 

 

 

一、搭建环境准备

采用cloudera-manager大数据管理集群平台，cloudera-manager官网查看其版本以及对集群操作系统，java-jdk版本支持的条件，本集群搭建采用cloudera-manager5.9.0

1.1操作系统版本支持：

1.2 java-jdk的版本支持

1.3大数据相关组件对数据库的依赖版本配置

 

 

1.4大数据各个框架的资源分配情况

Hadoop

Namenode: 内存1000M内存-对应100万条元数据,网络io与databnoe保持通讯交互

Datanode；磁盘4-16T /每台服务器

Resourcemanger:与namenode部署一起

nodemanger :与datanode部署在一起

Journnode: 需要启动三个奇数个

Zookeeper:

对磁盘的读写速度要求非常高

对网络的要求高

Hadoop:对namenode与resourcemanger的状态监控以及协助自动故障转移

Hbase:强依赖zookeeper,对master与resourcemanger的状况的监控以及自动故障转移

Kafka:强依赖zookeeper，对kafka集群broker节点的监控，存储kafka集群所有topic的元数据信息

Storm:强依赖zookeeper，主从节点的运行状态，信息交互通过zookeeper间接交互。

1.5Cloudera-manager 技术架构

Server:启动单独的节点，负责与各个节点的通信，收集agent从节点发送过来的各类资源以及状态信息，负责集群安装文件的分支丶安装丶部署负责整个集群的启动丶停止丶重启。

Agent:从节点，负责收集所在节点的各类资源以及服务进程的状态信息，统一汇报给主节点。

集群的配置分布如下：

Ip          角色