
kafka
习惯de味道
这个作者很懒,什么都没留下…
展开
-
Kafka集群搭建
前提:搭建zookeeper集群一、解压上传kafka安装到到一台机器解压并改名tar -zxvf kafka_2.11-2.0.0.tgzmv kafka_2.11-2.0.0 kafka二、修改环境变量三台机器修改环境变量vi /etc/profileexport KAFKA_HOME=/opt/kafkaexport PATH=$PATH:$KAFKA_HOME/bin/:$PATH使修改生效source /etc/profile三、修改配置文件在kafka安装目录中原创 2020-12-24 19:41:45 · 343 阅读 · 1 评论 -
kafka java API 的使用
目录一、创建队列二、引入依赖三、Producer的API四、Consumer的APIKafka包含四种核心的API: 1、Producer API支持应用将数据流发送到Kafka集群的主题 2、Consumer API支持应用从Kafka集群的主题中读取数据流 3、Streams API支持数据流从输入主题转化到输出主题 4、Connect API支持实现持续地从一些源系统或应用划入Kafka或者从Kafka推入一些源系统或应用的接口。我们这里主要讨论Producer原创 2020-12-07 20:06:48 · 379 阅读 · 0 评论 -
kafka常用命令
这里记录一下kafka常用命令行,我这里安装版本是2.11-2.0.0创建topic参数:partitions:分区数,可以显式指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量虽然增加分区数可以提供kafka集群的吞吐量,但是过多的分区数或者是单台服务器上的分区数过多,会增加不可用及延迟的风险。因为过多的分区数,意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。分区数也限制了consumer的并行度,即限制了原创 2020-12-02 20:06:27 · 153 阅读 · 0 评论 -
kafka简介及安装配置
目录一、消息队列二、kafka简介三、安装配置kafkakafka安装包提取码: ci74一、消息队列相关概念:消息队列中间件是分布式系统中非常重要的中间件,主要解决 应用耦合,异步消息,流量削峰 等问题。实现 高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。使用场景如:异步处理: 如用户注册后,发送注册邮件,再发送注册短信。应用解耦: 如用户下单后,订单系统需要通知库存系统。流量削峰:如秒杀活动,一般会因为流量过大,导致流量暴增。日志处理:解决大量日志传输问题原创 2020-12-02 19:26:05 · 120 阅读 · 0 评论