kafka
关注
分享
扫一扫
o_瓜田李下_o
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
kafka 概述
kafka概述********************************基本概念 kafka架构包含若干zookeeper、broker、producer、consumer，各节点的作用如下：zookeeper：存储集群的元数据并负责对其进行管理，选举broker控制器等；broker：存储消息，由broker控制器向zookeeper上传集...原创 2019-10-21 10:10:43 · 629 阅读 · 0 评论 -
kafka 架构
kafka架构 kafka架构主要包含zookeeper、broker、producer、consumer，其中：zookeeper：以集群形式部署，一般为3或者5个节点，主要负责存储集群的元数据信息；broker：3-5个kafka节点组成broker集群，负责存储消息，消息以日志分段logsegment的形式存储，默认大小为1G，每个日志...原创 2019-10-22 14:59:53 · 326 阅读 · 0 评论 -
kafka 环境搭建（docker）
kafka环境搭建**********************************************单机环境搭建：一般在开发测试时使自行制作镜像文件，镜像文件命名为：lihu12344/kafka配置文件目录：/kafka/config日志数据目录：/tmp/kafka-logs修改配置文件serve.properties中的参数brok...原创 2019-10-22 15:45:42 · 333 阅读 · 0 评论 -
kafka 监控（kafka-manager）
kafka监控：kafka-managerkafka-manager下载地址：https://github.com/yahoo/kafka-manager，下载后自行编译或者直接搜索下载编译后的压缩包*********************************************修改application.conf中的参数kafka-manager.zkho...原创 2019-10-24 09:39:42 · 211 阅读 · 0 评论 -
kafka 使用说明（spring boot）
springbootkafka使用说明********************************自动配置类使用参数@ConfigurationProperties( prefix = "spring.kafka")public class KafkaProperties { private List<String> bootstr...原创 2019-10-24 15:19:53 · 1431 阅读 · 0 评论 -
kafka 启动报错 missingTopicsFatal is true
kafka 启动报错：missingTopicsFatal is true报错信息org.springframework.context.ApplicationContextException: Failed to start bean 'org.springframework.kafka.config.internalKafkaListenerEndpointRegistry';...原创 2019-10-25 20:44:51 · 12511 阅读 · 2 评论 -
kafka 示例（spring boot）单条消费
springbootkafka 单条消费*********************************************使用示例**************************************application.ymlspring: kafka: bootstrap-servers: 172.18.0.12:9092...原创 2019-10-25 20:02:15 · 763 阅读 · 0 评论 -
kafka 示例（spring boot）批量消费
springbootkafka 批量消费************************************************使用示例**********************************application.ymlspring: kafka: bootstrap-servers: 172.18.0.12:9092 ...原创 2019-10-25 20:24:15 · 3665 阅读 · 0 评论 -
kafka 示例（spring boot）顺序消息
springbootkafka顺序消息实现方式：将需要顺序消费的消息发送到同一个分区*********************************************使用示例********************************application.ymlspring: kafka: bootstrap-serv...原创 2019-10-26 10:57:41 · 823 阅读 · 0 评论 -
kafka 示例（spring boot）事务消息
springbootkafka事务消息实现原理：（详见概述）事务初始化：producer先找到transactioncoordinator，transactioncoordinator负责为其分配pid、producerepoch等信息；事务执行：如果事务中有消息消费，消费后提交位移时，先将位移提交请求发送给transaction_coordinator，tr...原创 2019-10-26 17:40:17 · 2280 阅读 · 0 评论 -
kafka 示例（spring boot）幂等发送
springboot kafka 幂等发送实现原理：为每个producer分配一个producer id，消息发送的每个分区对应一个序列号，<producer id，partition id>==》sequence，如果new sequence = old sequence + 1，则存储消息；如果new sequence <old sequence + ...原创 2019-10-26 21:08:17 · 1802 阅读 · 0 评论 -
kafka 示例（spring boot）消费位移手动提交
springboot kafka 消费位移手动提交***********************************************使用示例*******************************application.ymlspring: kafka: bootstrap-servers: 172.18.0.12:9092 ...原创 2019-10-26 22:37:15 · 1666 阅读 · 0 评论