全村最靓的仔

一、前言消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。目前开源的消息中间件可谓是琳琅满目，能让大家耳熟能详的就有很多，比如Activ...

前面两篇文章大致上了讲了kafka的一些原理 topic，producer，consumer offset，partition，consumer group的一些概念。下面直接上代码 springboot和kafka的集成maven配置类<parent> <groupId>org.springframework.boot</groupId&g...

本篇文章为springboot集成kafka的消费者篇连接工厂和监听容器工厂package com.te.factory;import org.apache.kafka.clients.consumer.Consumer;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafk...

kafka这几年在分布式领域的用途也是非常火热 ， 感觉有超越老牌rabbitMQ的趋势。在大数据的时代，数据对我们也是越来越重要，就拿web系统来说，现在系统都走向了微服务，分布式，随之而来的是大量的日志信息，这些日志信息，收集起来也是一个问题，对于rabbitMQ来说，这些日志信息太多了，全交给它来说，越来太大。于是kafka就成了新的代言者，kafka刚好也有发布订阅等消息中间件特性。...

本文主要记录一些kafka常见问题，希望给大家带来帮助1.如何使用kafka做日志处理？这也是kafka常用地点之一了每次有日志的时候我们就可以调用kafka来进行发送日志消息到队列中，然后消费者应用我们可以使用，logstash获取日志信息，然后将消息发送到elasticsearch中进行存储，分词。使用的时候 我们可以bibana来进行可视化阅读操作。（ELK+kafka就...