本文详细介绍了使用CDH镜像进行大数据集群搭建的过程，包括网络配置、MySQL安装、SSH免密登录设置、时间同步、CM安装及服务配置等关键步骤。
使用的是6.5的镜像
cdh安装包解压后里面的mysql的组件少了，在mysql文件夹中得到了补充
安装文档：
安装从安装前准备开始
注意：
更改ip
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=<主机名> #每个节点改成相应主机名
NETWORKING_IPV6=no
PEERNTP=no
vi /etc/sysconfig/network-scripts/ifcfg-eth0 引用:
DEVICE=eth0 //设备名称，不要修改
BOOTPROTO=static //不要修改
BROADCAST=10.10.22.255 //广播地址，一般为本网段的最后一个IP
IPADDR=10.10.22.145 //ip地址
GATEWAY=10.10.22.1 //网关
NETMASK=255.255.255.0 //子网掩码
NETWORK=10.10.22.0 //网段地址
ONBOOT=yes //不要修改
TYPE=Ethernet //不要修改
DNS1=202.96.128.166 #主DNS1地址
DNS2=202.96.134.133 #备用DNS2地址
===============================================
文档里面三台服务器 10.21.1.10 yeexun-1 |
10.21.1.18 yeexun-2 |
10.21.1.5 yeexun-3 |
===============================================
安装perl
设置dns的话，通过vi /etc/resolv.conf配置(不设置有时会导致即使固定ip,重启ip变动,或者若干秒后变动)
nameserver就是dns服务器IP地址，可以配置首先和备选两个dns服务器，如下(文件中只留这两行)
nameserver 192.168.184.1 #设置首选dns
nameserver 192.168.184.2 #设置备用dns
改ip后service network restart重启网卡
1.xshell连接本地虚拟机的时候需要断开vpn,nat模式将适配器的vmnet8的'internet协议版本4'改成设置ip，同网段的不同ip,子网掩码:255.0.0.0。
先在主机上ping 虚拟机。ping不通，查看虚拟机的虚拟网络编辑器，看是否设置的NAT模式
2.tar zxvf cdh5.tar.gz -C /opt将/root下的压缩文件放在/opt下了
卸载jdk rpm -qa | grep openjdk | xargs rpm -e –nodep 在nodep前面是两个-，即--
/opt/cdh5/package里面有jdk和mysql的安装包
jdk后,mysql之前把两台克隆过去->当前状态->完整克隆,每个新节点改ip，主机名，ssh免密登录
克隆的机器改主机名，改ip,重启网卡提示Bringing up interface eth0: Device eth0 does not seem to be present,delaying initialization. [FAILED]:
这是由于没有正确的mac,UUID信息冲突导致的，
首先将/etc/udev/rules.d/70-persistent-net.rules文件清空：
rm -f /etc/udev/rules.d/70-persistent-net.rules文件删除(或者重命名):cat /etc/udev/rules.d/70-persistent-net.rules
然后将网卡配置文件/etc/sysconfig/network-scripts/ifcfg-eth0的uuid和hwaddr这两行删除：
再次重启网卡(不行的话reboot再重启网卡)
3.安装mysql的时候改密码，拿到的临时密码(tempory password)eReHFK4yJr&可能登录不上去(mysql日志在/var/log/mysqld.log)
使用 vi /etc/my.cnf 命令进入配置文件，然后在 [mysqld]后任意段中加入 skip-grant-tables语句，注释掉validate_password=off，保存并退出该文件，然后重启
登录mysql库的user表修改密码
UPDATE user SET authentication_string=PASSWORD('123456') where USER='root';
flush privileges;
另外：
mysql5.7安装后出现无法启动，建立/var/run/mysqld 并赋权mysql用户解决了启动的问题，但是重启系统后又出现无法启动的问题，导致/var/run/mysqld 目录每次重启后都需要手动去创建并赋权mysql用户才能起到mysql，可以说，这是mysql5.7的一个小BUG，经过探索实践，现给出终极解决方案：
首先申明，修改my.cnf没有用。
之所以/var/run/mysqld 目录每次重启后都需要手动去创建，是因为/var/run/目录下建立文件夹是在内存中，故每次重启后内存被清空导致/var/run/mysqld 也被清除，从而导致无法启动mysql。
vim /etc/init.d/mysqld
找到下面字段
get_mysql_option mysqld datadir "/var/lib/mysql"
datadir="$result"
get_mysql_option mysqld socket "$datadir/mysql.sock"
socketfile="$result"
get_mysql_option mysqld_safe log-error "/var/log/mysqld.log"
errlogfile="$result"
get_mysql_option mysqld_safe pid-file "/var/run/mysqld/mysqld.pid"
mypidfile="$result"
修改为
get_mysql_option mysqld datadir "/var/lib/mysql"
datadir="$result"
get_mysql_option mysqld socket "$datadir/mysql.sock"
socketfile="$result"
get_mysql_option mysqld_safe log-error "/var/log/mysqld.log"
errlogfile="$result"
get_mysql_option mysqld_safe pid-file "/var/lib/mysql/mysqld.pid"
mypidfile="$result"
修改 /etc/my.cnf pid-file "/var/lib/mysql/mysqld.pid"
保存后退出，执行下面命令：
systemctl daemon-reload //重构进程
service mysqld start //启动mysql
chkconfig mysqld on //加入随系统启动启动
mysql报错The MySQL server is running with the –skip-grant-tables option so it cannot execute this statement
出现flush privileges 一下就OK了，
4.文档中格式 用户名@'节点名' 创建数据库做测试那一步记得改hostname
互相ssh免密登录，需要yes，直接enter并不等于yes
5.ntp已有，直接安装即可
6.同步时间，
ntpstat刚启动时
unsynchronised
time server re-starting
polling server every 64 s
完成时
synchronised to NTP server (202.112.10.36) at stratum 3
time correct to within 275 ms
polling server every 256 s
具体修改若出了问题可以直接使用附件中ntp文件粘贴上去
误根据网上的方法还原了虚拟网络编辑器，Xshell连接不上虚拟机了:
因为还原了之后vmnet8就还原了，需要Internet协议版本4点击到使用以下IP地址
ip地址:和虚拟机的ip同网段最后一位不同
子网掩码:255.0.0.0
numastat和perl --version 查看是否安装了perl 和 numactl，一般都是有的，不用安装
在前面已经tar zxvf cdh5.tar.gz -C /opt过了，/opt/cdh5/package/cm5里面有cm
\cp 命令(在cp前加一个'\')这样就可以不经询问'是否覆盖'的复制文件到某目录
mysql-connector-java-5.1.26-bin.jar在/opt/cdh5/packages/jdbc下，
cp mysql-connector-java-5.1.26-bin.jar /opt/cm5.8.1/share/cmf/lib/从手册上复制过来会少个-,就在cm-5.8.1那里
在mysql中才能创建cm用户 mysql -u root -p
更新的话cm后面加个空格
/opt/cm-5.8.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123qwe --scm-host localhost scm scm scm
创建cloudera-scm用户
useradd --system --home=/opt/cm-5.8.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
Parcels文件路径
/opt/cdh5/packages/cdh5/CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
转移到另外路径
cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel /opt/cloudera/parcel-repo/
cp CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha /opt/cloudera/parcel-repo/
cp manifest.json /opt/cloudera/parcel-repo/
为 CDH 群集安装指定主机，全选
http://10.138.90.9:7180/cmf/clusters/1/express-add-services/index 是集群设置页面
个人使用的话用含spark的内核的版本，不然太大
hue的那个mysql包下载好了，rpm -ivh compat-mysql51-5.1.73-1.el6.remi.x86_64 安装即可，yum install libxslt -y
出了问题
点击蓝色的monitor,停止服务然后删除完，再添加服务
hdfs格式化出错 在虚拟机的
namenode里 rm -rf /dfs/nn
datenode里 rm -rf /dfs/dn (主要原因是目录冲突)
每次关机后开机要先看下各节点时间，同步ntp
必须先启动主节点的server（这个很慢，去tailf /opt/cm-5.8.1/log/cloudera-scm-server/cloudera-scm-server.log看日志），后启动agent，不然不能进CM
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
