CDH5.16：添加Kafka和Spark2服务

最新推荐文章于 2022-02-14 11:26:52 发布

原创

最新推荐文章于 2022-02-14 11:26:52 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#CDH5

本文介绍了如何在CDH5.16中手动添加高版本的Kafka和Spark2服务。首先，从CDH官网下载Kafka和Spark2的Parcel包，针对Linux版本配置下载源。接着，在CDH管理界面添加Kafka和Spark2的Parcel源，并进行服务激活。最后，通过重启集群和调优配置，完成Spark2的集成与测试。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

1、前言

CDH5有自带kafka和spark的安装包，但是版本比较低，spark是1.6版本，如果想安装更高的版本，那么就需要自己手动从官网下载Parcel包，然后配置集成到CDH中。
下图中可以看到自带的Kafka后面又明确的说明，注意红色字体

Before adding this service, ensure that either the Kafka parcel is activated or the Kafka package is installed.
在添加这个服务前，确保kafka parcel是已经激活 or kafka package已经安装

在这里插入图片描述

2、添加CDK4.0

2.1 选择对应的版本

打开CDH官网
https://www.cloudera.com/products/open-source/apache-hadoop/key-cdh-components.html

拉到最下，点击DOCUMENTATION --> Apache Kafka
在这里插入图片描述

下载

el6，el7代表linux的版本，我的是7.2，所以下载el7的

2.2 配置Kafka Pacel下载源

[root@hadoop001 ~]# cd soft/kafka_parcels/
[root@hadoop001 kafka_parcels]# yum -y install httpd
[root@hadoop001 kafka_parcels]# ll
-rw-r--r-- 1 root root 85897902 Jun 20 15:50 KAFKA-4.0.0-1.4.0.0.p0.1-el7.parcel
-rw-r--r-- 1 root root       41 Jun 20 15:50 KAFKA-4