Zsigner的博客

背景：在canal.instance.log中看到message过大，无法写入kafka报错log：[pool-348-thread-5] ERROR c.a.o.canal.connector.kafka.producer.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request includ.

1、查看消费组详情kafka-consumer-groups.sh --group cosumer_test --bootstrap-server 127.0.0.1:9092 --describe

一、官网　　http://kafka.apache.org/downloads.html二、Kafka简介　　Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://www.cnblogs.com/jun1019/p/6256514.htmlKafka文件的存储机制同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是500兆，可以手动去设置）的数据文件，每一个数据文件都被称为一个段（

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅http://www.jasongj.com/kafka/transaction/写在前面的话本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。为什么要提供事务机制Kafka事务机制的实现主要是为了支持Exactly Once即正好一次语义 操作的原子性 有状态操作的可恢复性Exactly Once《Kafka背景及架构介绍》一文中有说明Kafka在0.11.0.0之前的版本中

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://www.cnblogs.com/Peter2014/p/12843382.html如果要入门大数据，kafka算是一个很好的入口。kafka作为数据管道和存储设施在大数据系统中无所不在，本文基于官方文档对kafka进行一次学习和梳理。介绍消息系统Kafka是一个消息系统，它是分布式的，大吞吐量的消息系统。整合了点对点和发布订阅两种模式传统的消息系统如ActiveMQ通常具备两种模式：点对点模式

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后个人查阅https://blog.youkuaiyun.com/jiankunking/article/details/88087215一、写在前面的话本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。强烈建议看下文：KIP-98 - Exactly Once Delivery and Transactional Messaging二、为什么要提供事务机制Kafka事务机制的实现主要是为了支持Exact

【资源是免费的，官网可下载，可是官网下载的网络实在是太慢了有时候还会断线，我也是花了很长时间才下载下来的，提供给大家一个方便】符合kafka version 0.11+mac 版：链接:https://pan.baidu.com/s/1q6qKrEbaDGukvqHLomrQdg 密码:qqy2windows 64bit 版：链接:https://pan.baidu.com/s/...

推荐大家去看原文博主的文章，条理清晰阅读方便，转载是为了方便以后查阅https://www.jianshu.com/p/dd2578d47ff6Step1：下载Kafkabrew install kafka 因为我已经安装了下图只是为了演示image.png安装的配置文件位置/usr/local/etc/kafka/server.propertie...