CDH 离线安装kafka

已于 2022-02-19 14:45:16 修改
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 大数据系列 文章标签： kafka 分布式 big data 运维
于 2022-02-19 14:43:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37837432/article/details/123018311
版权

一、安装准备

1、下载csd包

wget http://archive.cloudera.com/csds/kafka/KAFKA-1.2.0.jar

2、下载parcel包

wget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel
wget http://archive.cloudera.com/kafka/parcels/2.1.1/KAFKA-2.1.1-1.2.1.1.p0.18-el7.parcel.sha1
wget http://archive.cloudera.com/kafka/parcels/2.1.1/manifest.json

3、停止cdh server、agent

/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-agent stop
/opt/cloudera-manager/cm-5.13.3/etc/init.d/cloudera-scm-server stop

4、拷贝kafka包


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
二十：CDH5.14离线安装kafka (含版本选择)

				
			

			

				

					weizhonggui的博客
				

				

					02-23
					
					3498
					
				

			

		

		

			
				
一：当安装好CDH的hadoop后，准备安装kafka,可是CDH上添加服务是这样的，没法直接添加，需要添加相应包才可以：
Apache Kafka is publish-subscribe messaging rethought as a distributed commit log. Before adding this service, ensure that either the Kafk...

			
		

	



                

            
              



	

		

			

				
					
Cloudera Manager CDH 离线安装

					
热门推荐

				
			

			

				

					黄智霖的博客
				

				

					05-24
					
					5万+
					
				

			

		

		

			
				
注：离线安装只是针对CM、CDH、数据库等较大的模块，中途如果需要安装其它相关依赖的组件，还是选择的在线安装，这些组件都很小不会有什么影响。如果使用的虚拟机实在没有网络，那么下载到宿主机之后上传安装也可以，只是需要自己处理一些依赖。

一、环境准备

1.1 虚拟机准备

由于环境限制，我这里准备四台虚拟机，并且固定ip为：192.168.0.198、192.168.0.210、192.168.0...

			
		

	



              


  
              

                


	

		

			

				
					
读取topic，查看有哪些topic，删除topic,创建topic生产者

				
			

			

				

					weixin_45762425的博客
				

				

					12-13
					
					1748
					
				

			

		

		

			
				
kafka-console-consumer --bootstrap-server localhost:9092 --topic three --from-beginning


kafka-topics --list --zookeeper localhost:2181




			
		

	





	

		

			

				
					
CentOS7安装CDH 第九章：CDH中安装Kafka

				
			

			

				

					weixin_30929011的博客
				

				

					05-15
					
					294
					
				

			

		

		

			
				
相关文章链接
CentOS7安装CDH 第一章：CentOS7系统安装
CentOS7安装CDH 第二章：CentOS7各个软件安装和启动
CentOS7安装CDH 第三章：CDH中的问题和解决方法
CentOS7安装CDH 第四章：CDH的版本选择和安装方式
CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章：CDH的管理-CDH...

			
		

	



		

			
		



	

		

			

				
					
cdh安装kafka

				
			

			

				

					y919610545的博客
				

				

					07-05
					
					885
					
				

			

		

		

			
				
1、下载kafka包裹文件到你的一个节点。
http://archive.cloudera.com/kafka/parcels/4.1.0/
根据你自己的linux和cdh版本来确定kafka版本，下载KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel，KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1，manifest.json到kafka_parcel目录下
2、安装httpd，并启动http，将包裹文件的文件夹移动到httpd的目录下，并将KAFKA-

			
		

	





	

		

			

				
					
CDH安装Kafka, 简称CDK安装（图解安装）

				
			

			

				

					阿顾的博客
				

				

					10-24
					
					4825
					
				

			

		

		

			
				
文章目录一 下载包裹文件二 安装httpd三 对parcel进行分发和激活四 添加服务五 测试数据
一 下载包裹文件
http://archive.cloudera.com/kafka/parcels/4.1.0/

创建下载的目录，并cd进去
mkdir kafka_parcel
cd kafka_parcel

下载三个文件
wget http://archive.cloudera.com/k...

			
		

	





	

		

			

				
					
基于CentOS 7.2的CDH 6.3.2 Kafka离线安装

				
			

			

				

					SmallScorpion
				

				

					09-24
					
					495
					
				

			

		

		

			
				
基于CentOS 7.2的CDH6.3.2离线安装
https://blog.youkuaiyun.com/qq_40180229/article/details/108755530
基于CentOS 7.2的CDH 6.3.2完整集群添加
https://blog.youkuaiyun.com/qq_40180229/article/details/108756561
基于CentOS 7.2的CDH 6.3.2 Hadoop配置
https://blog.youkuaiyun.com/qq_40180229/article/details

			
		

	





	

		

			

				
					
CDH5.14安装文档(包含spark2和kafka的安装)

				
			

			

				

					03-30
				

			

		

		

			
				
在这个CDH5.14的安装过程中，我们将关注如何在CentOS7.4环境下离线安装CDH，同时包括Spark2和Kafka。  首先，你需要下载以下组件： 1. JDK：这是Java Development Kit，用于运行和开发Java应用程序，CDH中的服务依赖...

			
		

	





	

		

			

				
					
CDH kafka

					
最新发布

				
			

			

				

					winggyn的专栏
				

				

					09-11
					
					598
					
				

			

		

		

			
				
2、将上面的三个文件上传到该目录下，并将KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1重命名为KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha。在CDH上集成Kafka，要求用CDH上的Zookeeper管理Kafka。1、在/var/www/html/（http服务的默认目录）新建文件夹kafka_parcel。简要说明：例如kafka_2.11-2.2.1-kafka-4.1.0.jar。Kafka parcel**完成！

			
		

	





	

		

			

				
					
cdh 安装_CDH安装Kafka, 简称CDK安装（图解安装）

				
			

			

				

					weixin_39626298的博客
				

				

					11-28
					
					309
					
				

			

		

		

			
				
一、下载包裹文件http://archive.cloudera.com/kafka/parcels/4.1.0/创建下载的目录，并cd进去mkdir kafka_parcelcd kafka_parcel下载三个文件下载完成后，把.sha1改成.shamv KAFKA-4.1.0-1.4.1.0.p0.4-el7.parcel.sha1 KAFKA-4.1.0-1.4.1.0.p0.4-el7.p...

			
		

	





	

		

			

				
					
cdh完美集成kafka

				
			

			

				

					weixin_30701521的博客
				

				

					01-11
					
					173
					
				

			

		

		

			
				
前言　　
　　其实cloudera已经做了这个事了，只是把kafka的包和cdh的parcel包分离了，只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了，就可以实现完美集成了。
具体实现的简要步骤可参照cloudera官网提供的文档：http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/...

			
		

	





	

		

			

				
					
CDH添加kafka

				
			

			

				

					nieji3057的博客
				

				

					03-24
					
					1998
					
				

			

		

		

			
				
安装 Kafka 组件配置 Kafka parcel 包在 Web 页面中，主机 -> Parcel  里面会列出当前集群以配置和分配的 parcel 包，目前只配置了 CDH5，Kafka 单独存在于其他 parcel 包中，所以需要单独加载 parcel ，然后分配到集群内各节点。  Cloudera官方Kafka组件的parcel包下载地址为：http://archive.cloude...

			
		

	





	

		

			

				
					
CDH集成kafka

				
			

			

				

					yunqishequ1的博客
				

				

					06-27
					
					910
					
				

			

		

		

			
				
添加kafka（把包放到cm主机目录）  1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/   把包放到parcel-repo 目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意：如果进度卡在“已解压”，直接返回重新进来就会看到“激活”4...

			
		

	





	

		

			

				
					
CDH安装kafka

				
			

			

				

					weixin_30838921的博客
				

				

					10-24
					
					189
					
				

			

		

		

			
				
摘要：前言其实cloudera已经做了这个事了,只是把kafka的包和cdh的parcel包分离了,只要我们把分离开的kafka的服务描述jar包和服务parcel包下载了,就可以实现完美集成了。具体实现的简要步骤可参照cloudera官网提供的文档:http://www.cloudera.com/content/www/en-us/documentation/kafka/lates...

			
		

	





	

		

			

				
					
CDH集成Kafka,两种方式：离线、在线

				
			

			

				

					weixin_30571465的博客
				

				

					02-21
					
					168
					
				

			

		

		

			
				
1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录，如下图：

然后直接添加组件即可
2.在线


配置相应的kafka地址 http://archive.cloudera.com/kafka/parcels/latest/ CDH会自动选择相应的kafka版本，然后保存设置

然...

			
		

	





	

		

			

				
					
CDH5.10 安装Kafka

				
			

			

				

					小苟的专栏
				

				

					05-07
					
					464
					
				

			

		

		

			
				
官网地址https://www.cloudera.com/documentation/kafka/latest/topics/kafka_packaging.html下载2.2.0的版本我用的是centos6就下载6的，三个文件都下载下载好的文件以及路径校验一下下载的文件是否是完整，如果不完整也会安装不成功选择parcel，添加kafka的路径保存以后会自动检测，点击download然后每台机器分...

			
		

	





	

		

			

				
					
CDH5.16.2安装Kafka4.1.0

				
			

			

				

					weixin_44675844的博客
				

				

					11-12
					
					638
					
				

			

		

		

			
				
安装Kafka，需要下载Parcel包
Kafka.parcel下载地址：http://archive.cloudera.com/kafka/parcels/4.1.0/

安装过程
将下面的三个文件上传到/opt/cloudera/parcel-repo目录下

把sha1改成sha
在7180页面进行解压和激活Kafka服务

...

			
		

	





	

		

			

				
					
CDH6.3.2之Kafka配置和命令

				
			

			

				

					ArYe
				

				

					08-10
					
					3759
					
				

			

		

		

			
				
如图示，每5分钟，日志清理程序 会根据日志保留策略 来清理符合删除条件的日志。：每个主题分区保留在日志中的数据量，设-1时无限制。创建，则消费者偏移量保存在ZooKeeper中。：点击具有Kafka服务的主机，然后点击组件。：日志保留时长，设-1时无限制，建议3天。创建，则消费者偏移量保存在Kafka中。会把主题以往所有数据都读取出来）建议给4~6G每个Broker。如果不知道CDH装哪，就把。可接收的单个消息的最大值（...

			
		

	





	

		

			

				
					
基于zookeeper-3.4.5-cdh5.7.1的kafka_2.9.2-0.8.1.1的安装

				
			

			

				

					jxb116的博客
				

				

					07-29
					
					1265
					
				

			

		

		

			
				
环境为zookeeper-3.4.5-cdh5.7.1安装调试完毕并启动
slave0 slave1 slave2共三台虚拟机


1)下载KAFKA

    $ wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz
2)配置$KAFKA_HOME/config/server

			
		

	





	

		

			

				
					
离线安装指南：CDH5.14.x on Centos7.4（含Spark2和Kafka）

				
			

			

				

					
				

			

		

		

			
				
"CDH5.14安装文档包含在Centos7.4上离线安装CDH5.14.x的步骤，以及Spark2和Kafka的安装指南。提供了所有必要的软件下载链接，包括JDK、MySQL驱动、Cloudera Manager安装包、CDH parcel及相关校验文件，以及角色分配...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 9

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
平凡似水的人生

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值