centOS6.3+cloudera hadoop(CDH4) 安装于问题

最新推荐文章于 2021-05-13 11:47:23 发布

321哈哈哈

最新推荐文章于 2021-05-13 11:47:23 发布

阅读量1w

点赞数

分类专栏： hadoop 文章标签： centos hadoop postgresql redhat python dns服务器

本文链接：https://blog.youkuaiyun.com/yinlei212/article/details/8078245

版权

hadoop 专栏收录该内容

3 篇文章

订阅专栏

本文详细介绍了在 CentOS6.3 系统中安装 Cloudera Manager 和 Hadoop 的全过程，包括安装环境、组件安装、配置数据库、关闭 SELinux 和防火墙等步骤，并提供了具体的命令和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先说说系统安装环境：

centOS 6.3 最新的系统，一切都是免费的， yum 是不受管理，大多数的软件已经装好了比如python python 2.6 。

centOS 5.* yum免费，python 2.4

redhat 5.6 这个是老的系统，yum需要注册，才能更好的使用。 python 应该是2.4的

-------------------

我们需要安装cloudera hadoop 是需要yum免费的除非你已经注册了redhat 有使用权，还有python需要2.4版本的。

其实他是需要python-libs-2.4.3-46.el5.x86_64.rpm这个包，下载地址我就不写了。

-----

我使用的是centOS 6.3（64bit）系统，需要安装python-libs-2.4.3-46.el5.x86_64.rpm这个包的

命令：

rpm -ivhpython-libs-2.4.3-46.el5.x86_64.rpm --force --nodeps

cloudera manger 安装

1 先下载postgresql 数据库支持。

http://www.postgresql.org/download/linux/ 安装。

修改：

进入 /var/lib/pgsql/data 路径下找到postgresql.conf 修改问以下配置，这样你就可以使用psql命令链接数据库了：

1.1 修改配置

修改前：

#listen_addresses = '127.0.0.1' # what IP address(es) to listen on;

# comma-separated list of addresses;

# defaults to 'localhost', '*' = all

#port = 5432

修改后：

listen_addresses = '*' # what IP address(es) to listen on;

# comma-separated list of addresses;

# defaults to 'localhost', '*' = all

port = 5432

1.2重启服务；

命令：
service postgresql restart

--帮助： /etc/init.d/postgresql {start|stop|status|restart|condrestart|condstop|reload|force-reload}

2 关闭selinux

SELinux is enabled. It must be disabled to install and use this product

设置 /etc/selinux/config

配置 selinux=disabled

3 关闭防火墙

service iptables stop

4 下载cloudera manager 二进制安装包

https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+-+END+USER+LICENSE+TERMS+AND+CONDITIONS

文件名：cloudera-manager-installer.bin

然后在你的linux上就可以安装了 ./cloudera-manager-installer.bin 一路next/yes，让他连网络下载依赖包。

安装完毕

5 打开ip:7180 然后用户名密码默认：admin/admin

安装hadoop 机器：

1 需要你的DNS 可以指向你的cloudera manager机他会用命令 host -t PTR (manager-IP) 去检测你的主机名。所以你需要修改你的所有机器的host文件

我在这里自己安装了个DNS服务器：主要配置就是让所有的nodes 能使用 host -t PTR (manager-IP) 命令检测到我的manger主机名。

服务器使用bind9 https://www.isc.org/software/bind

安装教程：

http://www.centos.bz/2011/07/centos-install-bind-dns-server/

我的配置： vi /etc/resolv.conf 添加 servername 10.1.15.74 到第一个

2 如果你自己做了源那么修改yum源

修改yum 新建 vi /etc/yum.repos.d/cloudera.repo

添加源配置：

[cloudera-cdh4]

name=Cloudera's Distribution for Hadoop, Version 4

baseurl=http://10.10.112.111:8080/cdh4local/CDH/4

gpgkey = http://10.10.112.111:8080/cdh4local/CDH/4/RPM-GPG-KEY-cloudera

gpgcheck = 0

enabled=1

[cloudera-cm4]

name=Cloudera's Distribution for Hadoop, Version 4

baseurl=http://10.10.112.111:8080/cdh4local/CM/4

gpgkey = http://10.10.112.111:8080/cdh4local/CM/4/RPM-GPG-KEY-cloudera

gpgcheck = 0

enabled=1

运行命令yum update

如何建源，官网说要安装一个源的软件，感觉有点麻烦，我的用的是笨办法直接起一个java-web工程将原网址的所有目录拷贝下来做成原始的文件结构，发布，经过测试是好的。

截图：

工程的名字可能起得不好。

在安装的时候需要设置本地源在哪里：

这样就可以使用你的源了。

3 next OK-> start ->OK

【遇到的问题】

可能需要安装这两个东西。

[问题]1：ERROR：Requires: redhat-lsb

[问题]2：ERROR: Reuires: nc

nc ：这个包名：nc-1.84-22.el6.x86_64.rpm

lsb：这个没安装好，

上面两个centOS里边自带的。

[问题]3：如果遇到这个问题

BEGIN yum info bigtop-utils

Loaded plugins: rhnplugin, security

Repository cloudera-cdh4 is listed more than once in the configuration

This system is not registered with RHN.

RHN support will be disabled.

END (1)

remote package bigtop-utils is not available, giving up

这个是说你的源有问题，我遇到的问题是源包名写错了，他找不到。

[问题]4 安装manager的时候遇到要关闭selinux

SELinux is enabled. It must be disabled to install and use this product

设置 /etc/selinux/config

配置 selinux=disabled

[问题] 5

你一定用的是redhat系统，原因是因为你没有注册redhat 所以报错了，目前理解是这样（查看官方bug和国外解答）。

Total size: 7.4 k

Downloading Packages:

Running rpm_check_debug

ERROR with rpm_check_debug vs depsolve:

rpmlib(FileDigests) is needed by bigtop-utils-0.4+352-1.cdh4.1.0.p0.28.el6.noarch

rpmlib(PayloadIsXz) is needed by bigtop-utils-0.4+352-1.cdh4.1.0.p0.28.el6.noarch

Complete!

(1, [u'Please report this error in https://bugzilla.redhat.com/enter_bug.cgi?product=Red%20Hat%20Enterprise%20Linux%205&component=yum'])

END (1)

[问题]6 启动service cloudera-scm-agent start 失败

日志目录 /var/log/cloudera-scm-agent/cloudera-scm-agent.{log,out}

-------关于源的一些操作-----

1 修改 vi /etc/resolv.conf 添加 servername10.1.15.74

2 修改 vi /etc/hosts 添加hadoop10.1.15.71

3 修改yum 新建 vi/etc/yum.repos.d/cloudera.repo

添加源配置：

[cloudera-cdh4]

name=Cloudera's Distribution for Hadoop,Version 4

baseurl=http://10.10.112.111:8080/cdh4local/CDH/4

gpgkey =http://10.10.112.111:8080/cdh4local/CDH/4/RPM-GPG-KEY-cloudera

gpgcheck = 0

enabled=1

[cloudera-cm4]

name=Cloudera's Distribution for Hadoop,Version 4

baseurl=http://10.10.112.111:8080/cdh4local/CM/4

gpgkey = http://10.10.112.111:8080/cdh4local/CM/4/RPM-GPG-KEY-cloudera

gpgcheck = 0

enabled=1

运行命令yum update

参考： http://blog.youkuaiyun.com/zzhua100/article/details/7823971