lxbalex的博客

从零搭建可用的Hadoop集群之一离线安装parcels源搭建离线安装parcels源搭建官方提供了三种安装方式：1）第一种方法必须要求所有机器都能连网，由于最近各种国外的网站容易出现超时连接错误，耗时较长，而且一旦失败，重装也是非常麻烦。2）第二种方法下载很多包。3）第三种方法对系统侵入性最小，最大优点可实现全离线安装，而且重装都十分方便。后期的集群统一包升级也非常好。这也是比较推荐的...

从零搭建Hadoop集群（三）——CDH集群搭建一、概述二、硬件检查与系统配置1.硬件检查1）检查内存2）检查所有磁盘挂载。将noatime参数写入/etc/fstab，并remount所有数据盘。3）检查磁盘读写4）检测网卡设置5）检测路由6）检查系统版本2.系统配置1）配置hostname与/etc/hosts（所有节点）设置hostname设置/etc/hosts2）所有节点安装SSH（所有...

从零搭建生产Hadoop集群（四）——Cloudera Manager及CDH的卸载一、概述二、卸载方法1.安装过程中出现异常重装1）删除相关文件和目录2）重新运行installer2.完全卸载集群1）停止集群所有服务2）停用和删除parcels3）卸载Cloudera Manager Server（1）停止Cloudera Manager Server和它的数据库（2）卸载Cloudera Ma...

从零搭建生产Hadoop集群（五）——CDH集群修改主机名与IP一、概述二、完整步骤1.官网推荐步骤：（1）验证下SSL/TLS认证是否所有服务都有配备，确认创建新的SSL/TLS认证。（2）导出Cloudera Manager配置（3）关闭集群所有服务（4）关闭Cloudera Managerment服务（5）关闭Cloudera Manager Server（6）关闭需要改hostname的服...

从零搭建生产Hadoop集群（六）——MySQL主备同步与故障切换一、概述二、主备同步配置步骤1.关闭相关服务2.主备库配置同步账号3.导出主库全部数据4.导入备库完整数据5.更新主从mysql配置文件/etc/my.cn并重启主备mysql进程6.主库重启后重新加锁7.查看主库状态8.配置主从同步9.解锁主库写操作10. 验证同步是否成功11.启动各个服务进程三、故障切换步骤1.关闭主库进程模拟...

从零搭建生产Hadoop集群（七）——关键服务器双网卡配置一、概述二、操作步骤1.启用双网卡配置（1）关闭NetworkManager（2）配置网卡信息（3）修改modprobe相关设定文件（4）加载模块并重启网络（5）重启网络，确认是否生效2.停用双网卡配置一、概述Hadoop集群中，有许多服务器部署着关键实例，如NameNode、ResourceManager、Zookeeper等，这些服...

从零搭建生产Hadoop集群（八）——上线与下线数据节点流程一、概述二、节点上线流程1. 服务器初始化2. 添加新主机到CM管理系统中3.添加角色实例三、节点下线流程一、概述Hadoop集群中，经常需要在不重启集群的前提下，动态地上线与下线数据节点，而使用Cloudera Manager管理的集群，可以很方便地做到这一点，本文将介绍其相关流程。二、节点上线流程1. 服务器初始化新节点的硬...

从零搭建生产Hadoop集群（九）——Cloudera Manager Server备份与迁移一、概述二、CM Server迁移流程1. 旧CM Server的配置定时备份2. 备份CM Serer安装CM Agent进程3.备份CM Serer安装CM Server、db进程4.备份数据导入备份CM Server的配置PG库5.集群所有主机的CM Agent修改Server指向并重启6.迁移监控...