小浩子的博客

最近在开发的过程中用到kafka做消息中间件，在测试高并发的时候，发现了一系列的问题。这两天也明白一点，做出产品跟做好产品是两回事！程序能跑起来跟程序能稳定运行更是两回事！开发的过程中，只要测试数据能否通，业务逻辑能不能被执行，只需要测试小数据量。但是程序开发完成后，性能测试是另一个工作。第一个问题：kafka生产者数据包丢失这个原因大多是生产者配置没配好，kafka的通信有接收到数据之后...

最近两个月，项目开发用到kafka，今天终于跑通了线上环境，这期间也踩了不少坑，在这里做一个总结。大致需求：做一个图像处理工具，每天处理10w的图片，由于机房分布在不同地方，这里有两套kafka集群环境，业务系统也有好几个开发思路：1.先准备内网环境2.创建单机kafka3.开发业务系统4.跑通业务流程5.配置两套kafka、和集群kafka6.每个子系统配置双机，模拟集群7.迁移...

从Kafka读取消息的逻辑并不关心处理消息偏移量，它只需要数据。因此，高级消费者可以从Kafka中抽象出消费事件的大部分细节。线程模型围绕主题的分区数，有一些具体的规则:如果线程多于主题上的分区，那么有些线程将永远不会看到消息如果分区比线程多，一些线程将从多个分区接收数据如果每个线程有多个分区，则无法保证接收消息的顺序，除非在分区中偏移量是顺序的。例如，从分区1接收到5条消息，...

这周到联调阶段，回顾项目的开发，之前在spring跟kafka这块吃了不少亏，网上的资料太繁琐、配置好了还各种报错，我今天整理一个最最简单的demo，以供参考。前提条件：安装zookeeper，下载解压，更改配置文件名称、配置环境变量，启动即可，资料比较全，搜一下就有安装kafka， 更简单，下载解压，启动即可jdk8 + 的环境，现在的spring基本指spring boot在kaf...

总会遇到各种各样的需求，kafka达到最佳吞吐量的消息大小是10k，而在我们的项目中，消息有的是1k，有的是100M，最大可达400M，这种消息很少很少，但是会有，所以整套环境必须要使用1K~400M。kafka最近的版本对消息的最大限制是2G，是足够的，这里有3个地方要配置：brokermessage.max.bytes :500000000B(500M)，这是单个消息的最大值repl...