CDH5安装

cloudera manager部署
一、下载必备文件：
1.cloudera manager：http://archive-primary.cloudera.com/cm5/cm/5/

针对当前集群系统环境和cm版本找到对应版本离线包，对于redhat、centos系统来说el6就是redhat6、centos6系统，之后找到想要安装的cm版本，本搭建过程采用cloudera-manager-el6-cm5.14.4_x86_64.tar.gz

2.cdh安装包：http://archive.cloudera.com/cdh5/parcels/5.14.4/
本搭建过程采用CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel、CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel.sha，parcel文件为cdh安装包，执行安装过程会进行解压并且上传到各节点

3.mysql的jdbc驱动jar包：http://dev.mysql.com/downloads/connector/j/

4.mysql5.6：http://dev.mysql.com/downloads/mysql/5.6.html
本搭建过程采用mysql5.6社区版源码包mysql-5.6.35.tar.gz


5.jdk：http://pd.jd.com/
可使用jdk1.7，jdk1.8
注：iptables、selinux须关闭，服务器时间要正确，文件描述符数量不能过小，以上内容针对本公司集群环境可忽略检查；无需进行ssh免密配置
每个节点需要部署的包：
cm压缩包，需解压缩
server节点需要部署的包：
parcel包和

二、cm安装：
1.server端安装配置mysql5.6（建议与cm放在同一台）:
解压mysql安装包后执行
yum install cmake ncurses-* -y
其余看编译输出，缺少什么包就再yum安装什么
进入mysql解压目录，执行
cmake -DCMAKE_INSTALL_PREFIX=/export/mysql5.6
如果没有报错继续执行
make && make install
顺利执行过后将/etc/my.cnf删除或移走，在mysql安装目录当中简单编写my.cnf，以下配置仅供参考：
[client]
default-character-set=utf8

[mysqld]
server_id = 1
datadir=/export/mysql5.6/data
port=3306
socket=/export/mysql5.6/data/mysql.sock
user=mysql
character-set-server=utf8
back_log = 500
max_connections = 1000
max_connect_errors = 1000
open_files_limit = 10000
table_open_cache = 2000
table_definition_cache=2000
innodb_open_files=5000
log_error = /export/mysql5.6/logs/mysql-error.log
slow_query_log = 1
long_query_time = 0.05
slow_query_log_file = /export/mysql5.6/logs/mysql-slow.log
default_storage_engine = InnoDB
query_cache_size = 128M
innodb_buffer_pool_size=1G
innodb_flush_log_at_trx_commit=2
innodb_file_per_table=1
innodb_read_io_threads=4
innodb_write_io_threads=4
innodb_io_capacity=500
innodb_io_capacity_max=2000
innodb_lru_scan_depth=500
innodb_autoinc_lock_mode = 2
innodb_buffer_pool_instances = 4
innodb_use_native_aio=on
innodb_flush_neighbors=0
innodb_support_xa=off
innodb_log_file_size=512M
innodb_log_file_size=1G
innodb_log_files_in_group=2
innodb_doublewrite=0
log-bin=mysqld-bin
sync_binlog=60
expire_logs_days=3
key_buffer_size=32M
symbolic-links=0

[mysqld_safe]
log-error=/export/mysql5.6/logs/mysqld.log
pid-file=/export/mysql5.6/mysqld.pid

[mysql]
default-character-set=utf8

需要注意的是既然是源码安装，子目录尽量都放在一个目录下；继续执行
useradd -r mysql
mkdir -p /export/mysql5.6/logs
chown -R mysql.mysql /export/mysql5.6
数据库初始化
/export/mysql5.6/scripts/mysql_install_db --basedir=/export/mysql5.6/ --datadir=/export/mysql5.6/data --user=mysql
没有报错将mysql启动
/export/mysql5.6/bin/mysqld_safe --defaults-file=/export/mysql5.6/my.cnf --basedir=/export/mysql5.6 --datadir=/export/mysql5.6/data &
之后观察mysql是否已经启动
导入数据，执行完成后会有cm库（需从cm源码包解压的目录当中找数据初始化脚本）
/export/servers/cm-5.9.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot --scm-host 127.0.0.1 scm scm scm
登录进行其他配置
/export/mysql5.6/bin/mysql -u root -h 127.0.0.1
进入数据库后进行以下配置
set global binlog_format=‘ROW’;修改binlog格式，否则默认为statement，cm会启动报错
grant all on cm.* to ‘scm’@‘127.0.0.1’ identified by ‘scm’;对cm所在节点进行授权

2.server端配置：
useradd --system --home=/export/servers/cm-5.14.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment ‘cloudera SCM user’ cloudera-scm，创建用户
mkdir -p /export/servers/，将cloudera manager压缩包解压在servers目录中，之后获得两个目录cloudera cm-5.9.0
mkdir -p /export/servers/cloudera/parcel-repo，将CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel和CDH-5.14.4-1.cdh5.14.4.p0.3-el6.parcel.sha1放在此新建目录下，一个是组件的压缩包，另一个为校验文件，校验文件名称一定要将最后面的1删除，后缀变为.sha，如果不修改cm激活压缩包时会找不到，默认从公网下载

mysql jar包放入lib库
将解压mysql-connector-java-5.1.40.tar.gz得到的文件放在/export/servers/cm-5.14.4/share/cmf/lib下
整个cm-5.14.4目录授权cloudera-scm.cloudera-scm

vim /export/servers/cm-5.14.4/etc/cloudera-scm-server/db.properties，配置db

host由于mysql就装在本机所以写127地址即可，库名、用户名、密码遵循上面创建用户和授权的内容进行填写

在启动脚本最上端配置jdk
vim /export/servers/cm-5.14.4/etc/init.d/cloudera-scm-agent
vim /export/servers/cm-5.14.4/etc/init.d/cloudera-scm-server
export JAVA_HOME=/export/servers/jdk1.7.0_71

3.agent端配置：
useradd --system --home=/export/servers/cm-5.14.4/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment ‘cloudera SCM user’ cloudera-scm，创建用户
mkdir p /export/servers/cloudera，chown cloudera-scm.cloudera-scm /export/servers/cloudera，创建目录授权
vim /export/servers/cm-5.14.4/etc/cloudera-scm-agent/config.ini，修改agent配置文件



server_host，配置server端的ip
log_file，lib_dir，mgmt_home，三个目录尽量改为cm解压目录所在路径下，避免分散在系统中
parcel_dir，最终各节点CDH生效的目录，建议放在cloudera目录下
cloudera_mysql_connector_jar，与jdbc文件所放置的目录一致即可

注：建议在server端把server/agent都配置完成后再把cm-5.14.4目录拷贝到其他节点对应位置上，不要在进程存在的情况下拷贝，否则须确保/export/servers/cm-5.14.4/lib/cloudera-scm-agent下的uuid文件删掉

4.启动服务：
先启动server端，多等待一些时间，有7180 7182端口则为成功，可进行web访问
/export/servers/cm-5.14.4/etc/init.d/cloudera-scm-server start
agent端执行，端口为9000
/export/servers/cm-5.14.4/etc/init.d/cloudera-scm-agent start

三、web配置：
1.添加cloudera management service：
浏览器访问server端地址7180端口，用户名密码默认admin admin
登录后不按照提示进行安装，直接点击左上方主页，然后选择右边添加管理服务
此组件一定要添加，否则一些事件和监控图无法正常显示


输入server端db配置里的内容

审核下方修改一些路径，尽量在cm目录内，之后等待安装完成，安装过后会发现集群监控已经有数据，可以选择所有主机进行检测查看agent节点是否已经识别

2.激活parcel：
主页右上方点击parcel图标

点击配置

修改parcel路径为之前创建的cloudera下，parcel-repo下方的就是未解压激活的两个parcel文件

保存更改后批量重启agent进程

3.添加群集：
主页右上方选择添加群集，按照提示一步步进行即可
如果第2步parcel路径配置错误是在流程内无法检测到CDH版本的，所以务必保证第2步执行正确
3.添加服务：

选择hdfs继续，根据原有集群情况进行主机选择

审核更改部分可以根据现有集群配置进行填写，左侧会有对应参数名

流程走完之后可以见到hdfs组件

集群右侧下拉菜单中可选配置HA
同理，其他群集或组件按照流程指引完成

3.添加用户：

四、参考资料：
https://www.quora.com/Cloudera-company/Can-we-install-Cloudera-Manager-to-manage-an-existing-cluster 了解新搭建的cm接入现有集群思路
http://www.361way.com/cloudera-manager-cdh-install/5033.html cm离线安装步骤参考

感谢同事整理。