Centos6.7 安装 CDH5

Centos6.7安装CDH5

相关包的下载地址：

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/

操作系统为centos6.7：

下载文件为以下：

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

cloudera-manager-el6-cm5.10.0_x86_64.tar.gz

manifest.json

jdbc的MySQL下载地址：http://download.softagency.net/MySQL/Downloads/Connector-J/

准备工作：

以下操作均需要(root)管理员权限

1.网络配置（所有节点）

修改主机名：vim /etc/sysconfig/network

NETWORKING = yes

HOSTNAME = cdh1

NETWORKING_IPV6 = no

PEERNTP = no

重启网络：service network restart

修改ip与主机名的对应关系：vim /etc/hosts

192.168.1.101   cdh1

192.168.1.102   cdh2

192.168.1.103   cdh3

2. 打通ssh，设置无密码登陆（所有节点）

执行ssh-keygen -t rsa，一路回车，生成无密码的密钥对。

将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。

通过scp命令将各节点的认证文件拷贝到所有其他节点使得各节点能够相互访问。

scp ~/.ssh/authorized_keys root@cdh2:~/.ssh/authorized_keys

cdh2操作：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/

scp ~/.ssh/authorized_keys root@cdh3:~/.ssh/authorized_keys

cdh3操作：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@cdh1:~/.ssh/authorized_keys

cdh1操作：

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@cdh2:~/.ssh/authorized_keys

3.安装Oracle的Java（所有节点）rpm安装jdk8

CentOS自带OpenJdk，不过运行CDH5需要使用oracle的JDK，需要Java 7/Java 8的支持。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。

去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装，最后配置环境变量。

Jdk8下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

[root@cdh1 Soft]# rpm -ivh jdk-8u151-linux-x64.rpm

JDK默认安装在/usr/java中。
验证安装
执行以下操作，查看信息是否正常：

[root@cdh1 java]# java

[root@cdh1 java]# javac

[root@cdh1 java]# java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)
[root@cdh2 jdk1.8.0_151]# vim /etc/profile

向文件里面追加以下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_151
export JRE_HOME=/usr/java/jdk1.8.0_151/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
使修改生效
[root@localhost ~]# source /etc/profile   //使修改立即生效
[root@localhost ~]# echo $PATH   //查看PATH值

[root@cdh1 java]# echo $PATH
/usr/lib64/qt-.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/app/jdk1.8.0_77/bin:/root/bin:/usr/java/jdk1.8.0_151/bin:/usr/java/jdk1.8.0_151/jre/bin

4.安装配置MySQL（主节点）

通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx'。

mysql -uroot -pxxxx进入mysql命令行，创建以下数据库：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# Oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#Hue

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'cdh1' identified by 'xxxx' with grant option;

flush privileges;

5.关闭防火墙和SELinux

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop （临时关闭） 

chkconfig iptables off （重启后生效）

关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0 （临时生效） 

修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

6.所有节点配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：yum install ntp。完成后，配置开机启动：chkconfig ntpd on,检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

主节点：

# vi /etc/ntp.conf

server 210.72.145.44     #这是中国国家授时中心的IP

server 0.uk.pool.ntp.org

server 1.uk.pool.ntp.org

启动：service ntpd start

开机启动：chkconfig ntpd on

查看NTP服务的运行状况: watch ntpq –p

其他节点:server cdh1 然后启动：service ntpd start

ntpdate –u cdh1

7.安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.10.0和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，

[root@cdh3 Soft]# tar -zxvf /tmp/Soft/mysql-connector-java-5.1.44.tar.gz

解压后，找到mysql-connector-java-5.1.44-bin.jar，

cp /tmp/Soft/mysql-connector-java-5.1.44/mysql-connector-java-5.1.44-bin.jar  /opt/cm-5.10.0/share/cmf/lib/

放到/opt/cm-5.10.0/share/cmf/lib/中。

Hive的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/lib/hive/lib/

Oozie的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.44-bin.jar  /var/lib/oozie/

如不起作用，将mysql-connector-java-5.1.44-bin.jar放入/usr/share/java/（如不存在则创建），并重命名为：mysql-connector-java.jar

[root@cdh1 java]# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.44-bin.jar  /usr/share/java

[root@cdh1 java]# mv /usr/share/java/mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar  

在主节点初始化CM5的数据库：

/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

Agent配置

修改/opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

vim /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini

serverhost = cdh1

同步Agent到其他节点

scp -r /opt/cm-5.10.0/ root@cdh2:/opt/

scp -r /opt/cm-5.10.0/ root@cdh3:/opt/

在所有节点创建cloudera-scm用户:

useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下：

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

manifest.json

最后将CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1，重命名为CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1文件。

相关启动脚本

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

CDH5的安装配置

Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：

 

 

 

 

 

 

 

临时修改：echo 0 > /proc/sys/vm/swappiness

重启生效：vim /etc/sysctl.conf

添加一行vm.swappiness=10

临时：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

或添加上面二行：vim /etc/rc.local

 

 

 

默认值继续：

稍等一会：

Perfect！！！

转自：https://www.cnblogs.com/Kaivenblog/p/7067656.html

7、一些常见问题

1、运行Hadoop程序报错：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode=”/user”:hdfs:supergroup:drwxr-xr-x

修改dfs.permissions为false，如下图所示。

2、 访问Cloudera Manager出现“无法发出查询：对 Service Monitor 的请求超时”。

一般是没有问题的，可能服务器较卡导致的，多刷新几次即可。

3、hive创建表出问题

把mysql-connector-java-5.1.34-bin.jar 拷到/opt/cloudera/parcels/CDH-5.3.6-1.cdh5.3.6.p0.11/lib/hive/lib

4、oozie创建表出问题

把mysql-connector-java-5.1.34-bin.jar 拷到/opt/cloudera/parcels/CDH-5.3.6-1.cdh5.3.6.p0.11/lib/oozie/lib和 /var/lib/oozie/下

5、遇到 /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent启动不了

可以 ps -ef | grep agent看看，把启动的agent服务关了

6、遇到 /opt/cm-5.4.3/etc/init.d/cloudera-scm-server启动不了

可以 ps -ef | grep server看看，把启动的server服务关了

7、 yarn启动出问题，可能是cm自身的bug，按照以下方法试试

解决方法为修改/opt/cm-5.3.0/lib64/cmf/agent/src/cmf/util.py文件。

将其中的代码：

pipe = subprocess.Popen([‘/bin/bash’, ‘-c’, “. %s; %s; env” % (path, command)], 
stdout=subprocess.PIPE, env=caller_env) 
修改为： 
pipe = subprocess.Popen([‘/bin/bash’, ‘-c’, “. %s; %s; env | grep -v { | grep -v }” % (path, command)], 
stdout=subprocess.PIPE, env=caller_env)

然后重启所有Agent即可。

8、若要删除cm目录，而删除不了，可以用一下方法

df -h 查看cm后台进程，用umount 进程名 ，删除再试试

9、若出现数据库连接出问题

1）可以看看是否创建了相应的数据库

2）可能是master主机下的root用户在mysql数据库的密码为空

登陆mysql，use mysql；

  update User set password=‘xxxx’where hostname=‘master’and user=‘root’;

  commit;

  flush privileges;
 
1
2
3
4
5

10、注意master要免密码登录自己

11、8888,50070,8088等端口无法访问

现象：master机器通过wget可以正确的得到页面，但是外网却无法获取，而且网络的设置是正确的。

查看端口占用发现这些端口全部绑定在内网IP上而不是0.0.0.0。

解决方法：去各自的配置文件中配置即可，选择绑定至0.0.0.0端口，然后重启即可。

12、oozie服务启动失败

通常是第二次尝试安装中才会遇到，报错内容大概是数据库已存在。

解决方法：删除/var/lib/oozie/data文件夹即可。

13、HUE服务启动失败

报错信息是找不到libxslt.so.1。

解决方法：yum install libxslt即可。

14、如果hadoop fs -mkdir /user/mmm时出错，是由于权限问题引起的，可以通过cm端找到hdfs服务修改 相应配置

15、用Apache的spark调用 cdh的yarnHA会出问题，去掉HA配置就会好了，问题是：

java.lang.IllegalArgumentException: Invalid ContainerId: container_e02_1483668670771_0005_02_000001
 
1

16、应用 spark的HiveContext 时，如果没有配置Hive服务以及和spark的依赖关系，则 HiveContext 会用derby 数据库，造成不能同时有两个应用运行。通过配置以MySQL为元数据库的Hive后，此问题不复存在。 
具体问题见下：

Caused by: ERROR XSDB6: Another instance ofDerbymay have already booted the database ~~~~
 
1

17、为了能让 nodemanager机器上也能启动yarn任务，需在yarn-site.xml 中配置

<property><name>yarn.resourcemanager.address</name><value>XXX:8032</value></property>
<property><name>yarn.resourcemanager.scheduler.address</name><value>XXX:8030</value></property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>XXX:8031</value></property>
<property><name>yarn.resourcemanager.hostname</name><value>XXX</value></property>
<property><name>yarn.resourcemanager.admin.address</name><value>XXX:8033</value></property>

转自：http://blog.youkuaiyun.com/silentwolfyh/article/details/54893826#sql