timicai的博客

前提：搭建zookeeper集群 一、解压 上传kafka安装到到一台机器解压并改名 tar -zxvf kafka_2.11-2.0.0.tgz mv kafka_2.11-2.0.0 kafka 二、修改环境变量 三台机器修改环境变量 vi /etc/profile export KAFKA_HOME=/opt/kafka export PATH=$PATH:$KAFKA_HOME/bin/:$PATH 使修改生效 source /etc/profile 三、修改配置文件 在kafka安装目录中

目录一、创建队列二、引入依赖三、Producer的API四、Consumer的API Kafka包含四种核心的API: 　　1、Producer API支持应用将数据流发送到Kafka集群的主题 　　 　　2、Consumer API支持应用从Kafka集群的主题中读取数据流 　　 　　3、Streams API支持数据流从输入主题转化到输出主题 　　 　　4、Connect API支持实现持续地从一些源系统或应用划入Kafka或者从Kafka推入一些源系统或应用的接口。 我们这里主要讨论Producer

这里记录一下kafka常用命令行，我这里安装版本是2.11-2.0.0 创建topic 参数： partitions：分区数，可以显式指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量 虽然增加分区数可以提供kafka集群的吞吐量，但是过多的分区数或者是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为过多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。 分区数也限制了consumer的并行度，即限制了

目录一、消息队列二、kafka简介三、安装配置kafka kafka安装包 提取码: ci74 一、消息队列 相关概念：消息队列中间件是分布式系统中非常重要的中间件，主要解决 应用耦合，异步消息，流量削峰 等问题。实现 高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 使用场景如： 异步处理： 如用户注册后，发送注册邮件，再发送注册短信。 应用解耦： 如用户下单后，订单系统需要通知库存系统。 流量削峰：如秒杀活动，一般会因为流量过大，导致流量暴增。 日志处理：解决大量日志传输问题