Kafka
关注
分享
扫一扫
Think-More
这个作者很懒，什么都没留下…
展开
-
使用Dockerfile安装Kafka和Zookeeper及其使用
一、利用Dockerfile创建Kafka和Zookeeper镜像使用wget方式安装JDK的时候需要到Oracle官网复制临时有效路径1.kafka.Dockerfile文件FROM centos:6.6ENV KAFKA_VERSION "2.0.1"RUN yum -y install vim lsof wget tar bzip2 unzip vim-enhanc...原创 2019-03-14 11:59:12 · 4775 阅读 · 2 评论 -
Kafka原理解析
本文转发自技术世界，原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息...转载 2019-03-16 12:16:22 · 456 阅读 · 0 评论 -
SpringBoot-Kafka使用（一）
一、简介Kafka认识一下Kafka异军突起，是近来非常火热的一款消息中间件。消息中间件的作用非常多，常用作系统业务的解耦。例如最常听到的秒杀业务，我们也能使用消息中间件对业务进行解耦，用户发起秒杀请求后，系统首先会将该请求转发到中间件中，然后返回一个等待的结果(用户界面显示正在抢购，请耐心等待)，而我们系统会有监听器去接收这些秒杀请求进行对应的业务处理，最重要的是，整个系统的扩展显得非常...转载 2019-03-16 23:35:36 · 3373 阅读 · 0 评论 -
SpringBoot-Kafka使用（二）
一、Topic的相关操作和可视化工具手动创建Topic看过SpringBoot-Kafka（一）这篇文章会发现，我们从到到尾都没有创建过"topic.quick.demo"这个Topic，这是因为KafkaTemplate在发送的时候就已经帮我们完成了创建的操作，所以我们不需要主动创建"topic.quick.demo"这个Topic，而是交由KafkaTemplate去完成。但这样也出现...转载 2019-03-16 23:35:53 · 16397 阅读 · 1 评论 -
SpringBoot-Kafka使用（三）
一、Kafka的事务为什么要使用Kafka事务在日常开发中，数据库的事务几乎是必须用到的，事务回滚不一定在于数据增删改异常，可能系统出现特定逻辑判断的时候也需要进行数据回滚，Kafka亦是如此，我们并不希望消息监听器接收到一些错误的或者不需要的消息。SpringBoot使用数据库事务非常简单，只需要在方法上加上@Transactional注解即可，那Kafka如果需要使用事务也可以如此，不...转载 2019-03-16 23:36:08 · 2969 阅读 · 3 评论 -
SpringBoot-Kafka使用（四）
一、实现消息转发ReplyTemplate目的可以使用转发功能实现业务解耦，系统A从Topic-A中获取到消息，进行处理后转发到Topic-B中，系统B监听Topic-B获取消息再次进行处理，这个消息可以是订单相关数据，系统A处理用户提交的订单审核，系统B处理订单的物流信息等等。实现方式Spring-Kafka整合了两种消息转发方式：使用Headers设置回复主题（Reply_...转载 2019-03-16 23:36:17 · 2994 阅读 · 1 评论 -
SpringBoot-Kafka使用（五）
一、消息过滤器消息过滤器消息过滤器可以在消息抵达监听容器前被拦截，过滤器根据系统业务逻辑去筛选出需要的数据再交由KafkaListener处理。配置消息其实是非常简单的额，只需要为监听容器工厂配置一个RecordFilterStrategy(消息过滤策略)，返回true的时候消息将会被抛弃，返回false时，消息能正常抵达监听容器。这里我们将消息转换为long类型，判断该消息为基数...转载 2019-03-16 23:36:24 · 1017 阅读 · 1 评论