搭建部署CDH--亲测完成版

已于 2024-03-29 10:26:51 修改
阅读量2.4k 收藏 43
点赞数 40
文章标签： 交友
于 2024-03-18 17:54:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45389898/article/details/136812348
版权

CDH6.3.1 成功搭建运行（包能搭起来）

资源链接

此资源为优快云博主分享，博主主页 一位编程的学习者
链接：https://pan.baidu.com/s/1eP4OVQ0u4qgwsmMoW1KCDw?pwd=3ane
提取码：3ane
另一个文件资源，此资源为知乎博主分享，博主主页 随我逐流：
链接：https://pan.baidu.com/s/18XOpQBLXUyI3ajsueBzoOA?pwd=aner
提取码：aner
第二个资源下载后的文件保存位置
至此，最重要的文件、能保证我们一定能搭建起集群的文件就都下载好了。约等于已经搭建成功了，朋友们可以放心了。

准备虚拟机，配置虚拟机环境

本来准备在标题加上Ubuntu环境下CDH搭建的，但是担心有的朋友看见是Ubuntu环境的就直接不点进来看了，实际上Ubuntu搭建一样可以的，我也是在CentOS7环境下搭建几次失败后才选择的Ubuntu，原因很简单，CentOS7下跟着几位博主的教程都没搭建起来，所以放弃使用CentOS7环境。

下载ISO镜像文件

可以在阿里云下载这个镜像文件，一定要是Ubuntu18.04，别的版本我没有测试过。
Ubuntu18.04

新建虚拟机

我使用的是Vmware，操作流程就是：
新建虚拟机–>自定义(高级)–>…–>稍后安装操纵系统–>版本选择Ubuntu64位–>设置虚拟机名称以及安装位置–>设置处理器数量和内核数量(这个设置建议大家根据自己windows的配置去自行查验设置)–>虚拟机的内存设置为4g–>使用桥接网络–>…–>创建新虚拟磁盘–>最大磁盘大小设置为40g(将虚拟磁盘拆分成多个文件)–>…基本就完事了

2024年3月29日更新：40个g不够用，建议master至少分60个g，slaver节点分50个g，如果已经分配完40个g的朋友，可以参考这篇文章对虚拟机进行扩容，我是在集群都在运行的状态下进行扩容的，目测暂时没啥问题

这里说一下我的内核数量设置：根据我的物理机是8核的，所以我的设置由上到下依次为1、2。使得虚拟机得最大内核是2，大家机器配置高的可看情况多给点。
在这里插入图片描述

然后编辑虚拟机设置–>在CD/DVD那选择使用ISO映像文件，然后选择我们下载得ISO文件即可。
然后就是开机点点点了。到这里虚拟机就算新建完毕了。

虚拟机设置

Ubuntu的环境使用起来还是挺不习惯的，我们如果想使用ifconfig、vim这样的命令的话，我们需要跟据提示安装相应的插件。
说明：我们配置的是一台虚拟机，而我们最终的集群是3台虚拟机，我们所要对这一台虚拟机配置的应该是3台虚拟机都需要有的部分，其实就只是MySQL和cm相关插件不需要安装，然后配置完这台主机后，克隆两台虚拟机(完整克隆)；克隆之后需要对虚拟机内存做调整，主节点master的内存设置为16g(如果物理界的内存是32g的情况下)，其他两个从节点还是原来的4g。
大伙还是看第一个资源的分享者的文章去配置虚拟机的相关事项，有一步需要大家调整一下
CDH6.3.2安装部署(Ubuntu1804)（附安装包）

在这里插入图片描述
就是这里，这里的话，大家可以参照我的配置：

deb [arch=amd64] file:///etc/apt/sources.list.d/cm6.3.1/ bionic-cm6 contrib

/etc/apt/sources.list.d/cm6.3.1/ 这个是我的本地文件目录，大家可以和我一样或者自定义本地文件的目录，cm6.3.1这个文件夹就是第一个资源解压打开后的唯一一个文件夹，直接传输到虚拟机的相应目录或者传输到一个能传输的目录然后cp 即可。
然后我们就不用尽心wget /…/archive.key了，而是直接到archive.key所在目录执行

apt-key add archive.key
apt-get update -y

在这里插入图片描述
此外，原博主对各主机间互信(免密登录)、关闭防火墙、关闭selinux、配置swap的部分是没有展示在文章中的，大伙可以自行做一下。
其他的所有操作按第一个资源分享者的博文操作即可，按博文操作至博文结束，过程中可能会遇到一些我没有提到的小问题，大家耐心解决，都不影响大体。
至此，我们就已经在每个节点上安装了CDH所需要的插件，接下来是非常重要的部分。

网页搭建CDH

  1. 进入登录页面，登录，用户名密码都是admin
    http://ip_address:7180/cmf/login

  2. 一直继续到Specify Hosts这一步，我们在新主机那个选项界面输入两个从节点的ip地址或主机名，中间用逗号(英文输入法下)分隔，然后搜索到两台从几点主机，在这两个主机前勾选上即可。
    图片是偷的

  3. 自定义存储库这部分
    大家可以看到我的目录结构是这样的

root@h1:/etc/apt/sources.list.d# ls
cloudera-manager.list  cm6.3.1

然后我们进到cm6.3.1这个目录

root@h1:/etc/apt/sources.list.d# cd cm6.3.1/
root@h1:/etc/apt/sources.list.d/cm6.3.1# ls
allkeys.asc  archive.key  conf  db  dists  pool

然后我们进行如下操作：

# 第一步：安装Supervisor
apt-get install supervisor
# 第二步：
vim /etc/supervisor/conf.d/simple-http.conf
## 在文件中添加以下内容：
## 注意端口8900是自定义的;directory目录要根据实际的文件目录
[program:simple-http]
command=/usr/bin/python -m SimpleHTTPServer 8900
directory=/etc/apt/sources.list.d/cm6.3.1
user=yourusername
autostart=true
autorestart=true
# 第三步：重新加载Supervisor配置并启动服务
supervisorctl reread
supervisorctl update
supervisorctl start simple-http
# 第四步：设置开机自启
systemctl enable supervisor

我们这个时候可以在自定义存储库添加对应url：http://192.168.2.167:8900/
直接这样就可以，注意这样一定是在cm6.3.1下执行上述操作才是这样的url。我们可以在网页进入这个url看一下，点任意文件发现可以正常下载，证明配置成功。
在这里插入图片描述

  1. 注意不装JDK，因为我们已经离线装过了。
  2. 再往后面的操作，我推荐大家一篇博文，我自己搭建安装以及写这篇博文部分也都是参考了这篇博文。

以上过程就是整体的操作流程了，操作过程中可能避免不了出现这样那样的小小的插曲，而小插曲都是容易解决的，尽早地出现问题对于安装部署CDH来说，可能是一件好事。

2024年3月29日更新：对于首次使用和部署CDH的朋友，关闭时在管理页面进行各个服务的关闭，再次启动时同样在这个页面进行操作
在这里插入图片描述

最后，祝大家身体健康，工作愉快~

以上部分就是搭建部署CDH的全部了，以下部分均不属于搭建部署CDH的范围

想到哪儿我就记录到哪儿

DBeaver连接hive

在搭建好的CDH的主节，直接控制台输入hive就行
期间可能会报一个错，需要手动修改一下一个目录的权限，这里不聊这个。

  1. hive启动后，我们随便建个库建个表然后向表里导入数据
  2. 打开DBeaver,文件–>新建–>数据库连接–>选择Apache Hive–>"主要"这里的用户名密码就是在网页页面部署CDH时所填写的hive的用户和密码(如果不记得了可以试一下hive，hive123456)–>编辑驱动设置–>url模板长这样：jdbc:hive2://192.168.a.bcd:10000/sales，即jdbc:hive2://ip地址:端口/数据库名–>在"库"这部分，选择添加文件而不是添加工件，我们手动去下载hadoop-core-1.2.1.jar和hive-jdbc-2.1.1.jar这两个文件，然后添加进去–>确定–>完成
  3. 这时候双击一下左边刚刚新建的连接，有绿色的勾还不能完全代表可以正常使用，需要在我们的数据库做一个sql编辑器，查询一下表中的数据，如果刚刚新建的连接有绿色的勾但是查询时提示/user这个目录权限相关的提示，很有可能是用户名密码不对，需要你找到正确的用户名和密码然后编辑这个连接，然后再重试那条sql，直到能查询出数据。

这里选择添加文件而不是添加工件的原因，选择添加工件有问题，会提示访问maven仓库的一些错误、还有网络错误，我是没解决的，如果有想尝试的，可以参照如下方式尝试

选择添加工件，分别添加如下两个(版本要根据自己的hive的版本，我的hive的版本是2.1.2，hadoop的hadoop-core的版本是1.2.1，下面3个图都是偷的)
请添加图片描述
请添加图片描述
然后就是下载更新，可以的话就是可以，不可以的话我建议还是直接自己去下载这两个文件来的舒服些。
请添加图片描述
以上就是使用DBeaver连接Hive的简单记录，再次祝大家身体健康，工作愉快~

Power Bi连接Hive

what can i say~

tableau连接hive

tableau连接hive，花钱的买的不算，根据众多网友反馈，2020版本的pojie版有不显示可视化图表的问题，2019版本的pojie版本的有不显示地图的问题，听说是不用地图就选2019，用地图就选2020~
请添加图片描述

-------使用tableau连接hive就直接去cloudera的官网去下载一个hive的ODBC驱动即可，下载之后就有各种博文教程辣
ps：cloudera官网下载文件要登录才行，新用户注册可能因为加载不出来人机验证页面而注册不了，就靠大伙各自的手段辣~

Power Bi连接hive

小太阳的数据分析笔记
看这个就行。
为什么看这个呢，因为我从官网下载的一个Hive的ODBC驱动版本好像不大行，能连接数据库能显示表但是一点进去表就报错，谢特！然后我下载了这个博主的文件，用了这个之后就不会报错能正常使用了。
请添加图片描述

安装zeppelin

安装zeppelin这部分有很多博主都有文章进行讲解，这里需注意，如果博主的博文中没有外部rar的资源链接或根本没提到外部rar（commons-lang-xxx.jar）的，大家需要去下载一下这个文件，注意下载jar文件，这个文件要放到/xx/xxx/zeppelin/interpreter/jdbc/这个目录下。
如果缺少这个文件，在执行hive sql时，会有如下提示：

java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
	at org.apache.hive.jdbc.HiveConnection.<init>(HiveConnection.java:175)
	at org.apache.hive.jdbc.HiveDriver.connect(HiveDriver.java:107)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at org.apache.commons.dbcp2.DriverManagerConnectionFactory.createConnection(DriverManagerConnectionFactory.java:79)
	at org.apache.commons.dbcp2.PoolableConnectionFactory.makeObject(PoolableConnectionFactory.java:205)
	at org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:836)
	at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:434)
	at org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:361)
	at org.apache.commons.dbcp2.PoolingDriver.connect(PoolingDriver.java:129)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:270)
	at org.apache.zeppelin.jdbc.JDBCInterpreter.getConnectionFromPool(JDBCInterpreter.java:518)
	at org.apache.zeppelin.jdbc.JDBCInterpreter.getConnection(JDBCInterpreter.java:543)
	at org.apache.zeppelin.jdbc.JDBCInterpreter.executeSql(JDBCInterpreter.java:751)
	at org.apache.zeppelin.jdbc.JDBCInterpreter.internalInterpret(JDBCInterpreter.java:939)
	at org.apache.zeppelin.interpreter.AbstractInterpreter.interpret(AbstractInterpreter.java:55)
	at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:110)
	at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:860)
	at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:752)
	at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
	at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:132)
	at org.apache.zeppelin.scheduler.ParallelScheduler.lambda$runJobInScheduler$0(ParallelScheduler.java:46)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils
	at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 26 more

如果大家真的遇到了如上报错，别执着，就直接下载那个commons-lang-xxx.jar文件放到指定位置，然后重启zeppelin即可。（我安装的是0.10.1版本）

=====================================================

我呀，我也想把我的芬芳，留在大地上，告诉后来的人们，告诉他们，我曾经来过这里。
—— 刘猛《最后一颗子弹留给我》

sanerbaby
关注
CDH大数据平台部署安装（详细）
m0_73800495的博客
06-12 2611
在主节点上安装MySQL数据库，CDH的某些组件（如Cloudera Manager和Hive Metastore）需要数据库支持。在主节点上设置本地YUM源，包含CDH和Cloudera Manager的安装包，便于节点安装和管理软件包。baseurl=http://[IP地址或master节点名称]/cloudera-repos/cm6。#将下载好的rpm安装包上传到/var/www/html/cloudera-repos/cm6。#打开10.8.42.54/cloudera-repos/cm6/
基本环境的搭建
weixin_44809337的博客
06-26 1459
基本环境的搭建一、基本换环境1.1 服务器相关 一、基本换环境 1.1 服务器相关
CDH-大数据集群部署
最新发布
itxuchuanlong的博客
03-18 766
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。
CDH大数据平台搭建
二进制专栏
11-19 1552
全称Cloudera’s Distribution Including Apache Hadoop。hadoop的版本 (Apache、CDH、Hotonworks版本)在公司中一般使用cdh多一些（收费的）、也有公司使用阿里云大数据平台、微软的大数据平台。国内也有一些平台：星环大数据，一个朋友的公司（优刻得UCloud）ClouderaManager ： 简称 CM (CDH的管理界面)。Cloudera Manager是用于管理CDH群集的端到端应用程序。
大数据平台CDH搭建
我睡觉的时候不困
07-07 5761
Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具。 2、环境准备 2.1、虚拟机准备 克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主机名称、关闭防火墙。 2.2、SSH免密登录 配置hadoop102对hadoop102、hadoop103、hadoop104三台服务器免密登录。CDH服务开启与关闭是通过server和agent来完成的，所以这里不需要配置SSH免密登录，但是为了我们分发文件方便，在
CDH 6.3.2安装部署（超详细）
2201_75470972的博客
05-23 4794
超级详细的cdh6.3.2安装部署教程
ubuntu完全分布式搭建CDH集群（Cloudera Manager）
04-20
### Ubuntu 完全分布式搭建 CDH 集群（Cloudera Manager） #### 搭建环境概述 本文档旨在详细介绍如何在 Ubuntu 14.04.3 系统下构建一个完整的 Cloudera Manager (CM) 管理的 CDH 集群。该集群将使用三台物理...
CDH-5.10.2集群的搭建【史上最全，不全不要钱】（已经实现，但是非预期效果，可能是由于内存不足）
热门推荐
Null的博客
06-28 2万+
说在前面的话：本文适合电脑内存16G以上的，安装的是纯正的CDH，不是三个节点的，纯正四节点。建议配置主节点3G内存，从节点1.5G内存，硬盘大小建议单节点配置20G以上，CDH版本比apache吃内存和硬盘，请准备好再安装 如果你是新手学习，强烈！建议不要瞎改瞎命名，因为后面都是有关联的。如果跟我的一模一样，完全无脑CV保证安装成功，安装过程中遇到的报错各种问题都在相应的环节有说明，不要慌...
CDH-5.XX 离线安装及升级步骤及安装过程常见错误.txt
06-14
通过离线安装方式部署CDH-5.XX，不仅可以简化安装过程，还能有效避免网络不稳定带来的问题。遵循上述步骤，可以较为顺利地完成CDH集群的搭建，并实现高效的数据处理能力。此外，熟悉安装过程中的常见错误及解决方法...
CDH6.2-完整版安装文档.doc
02-26
- 在搭建CDH集群时，需要规划好各个服务器的角色。例如，`a.cdh.com`作为Cloudera Manager Master，负责集群的管理和监控；`b.cdh.com`、`c.cdh.com`和`e.cdh.com`可能作为数据节点或计算节点；而`mysql.cdh.com`则...
CDH大数据平台入门篇之搭建与部署
予挚之的博客
03-06 5518
CDH：存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台，适用于各种不同的硬件和软件、高安全性且能够部署多种应用，并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
【CDH部署】全网最简单CDH6.2.0环境部署
01-07
下载链接 官方下载链接: https://archive.cloudera.com/cdh6/6.2.0/parcels/ 百度网盘下载链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3 主机规划 sparkproject1 manager 8G 50GB sparkproject2 agent 4G 50GB sparkproject3 agent 4G 50GB 1. 设置IP, hostname, hosts, ssh免密登录 可参考Hadoop中linux基本配置那篇文章 【Hadoop部署】Hadoop环境部署1
搭建CDH
nntcdhl的博客
05-21 496
版本centos7,再克隆一台。 一.基础配置 1.配置网络：采用Nat方式联网。 2. vim /etc/sysconfig/network-scripts/ifcfg-ens33 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.80.3 NETMASK=255.255.255.0 GATEWAY=192.168.80.2 DNS1=202.196.32....
CDH 部署教程
cr7258的博客
07-08 1979
CDH 介绍 CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监控、报警等功能。通过 CDH 可以使集群的安装从几天的时间缩短为几个小时。 节点规划 Cloudera Manager Server 节点提供 WebUI 操作界面，管理 Cloudera Manager A
CDH搭建
zzw_17600691357的博客
05-13 219
系统环境准备 使用3台主机进环境搭建 1.1.网络配置 vi /etc/sysconfig/network vi /etc/hosts 1.2.SSH免密钥登录 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-copy-id 1.3.防火墙关闭 service iptables stop chkconfig iptable...
CDH集群搭建
m0_61607827的博客
03-07 2268
一、说明 节点(CentOS7.5) Server || Agent CPU node11 Server || Agent 4G node12 Agent 2G node13 Agent 2G 二、系统环境搭建 1、网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts IP和主机名的映射 2、SSH免密码登录 1．产生公钥和私钥：ssh-keygen -t rsa（一直回车直即可） 2．将公钥分发...
CDH的安装与部署
weixin_44342332的博客
01-30 3120
1.基础环境准备 1.1创建一个新的虚拟机 1.2安装虚拟机，设置ROOT密码并创建用户名为cdh的用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件，修改以下三处内容（MAC地址为之前记录的）。 1.11修改MAC地址与配置文件中一致 1.12对第三台服务器重复1.8-1.11 1.13修改主机名 1.14配置ho
CDH部署
qq_38524532的博客
01-19 484
一、环境准备 三台（或多台服务器均配置） a、相同JDK版本（安装路径，环境变量配置均保持一致） b、网络配置完成，可相互ping通 ip等网络配置 vim /etc/sysconfig/network-scripts/ifcfg-eth0 hosts配置 vim /etc/hosts c、关闭防火墙 service iptables stop d、SSH互相免秘钥登录 ssh-keygen...
FLINK-1.14.0在CDH6.3.2环境下部署指南
Apache Flink是一个开源的流处理框架，用于处理和分析实时数据流，而CDH是Cloudera提供的一个基于Apache Hadoop的发行版，用于构建和管理企业级Hadoop集群。 描述中的“flink 部署在cdh6.3.2 的包”意味着用户希望...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值