
Kafka框架
Master.TJ
https://github.com/fengruotj
展开
-
Kafka:Zero-Copy零拷贝
1. 前言 前一段时间研究了大规模日志流高吞吐并行存储,通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法,后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法,并应有到了Apache Kafka系统中。 2. 消息存储机制 Kafka是一个分...原创 2020-01-05 12:56:16 · 2983 阅读 · 0 评论 -
Kafka:Kafka核心概念
1 消息系统简介 1.1 为什么要用消息系统 ? 解耦 各位系统之间通过消息系统这个统一的接口交换数据,无须了解彼此的存在; 冗余 部分消息系统具有消息持久化能力,可规避消息处理前丢失的风险; 灵活性和消除峰值 在访问量剧增的情况下,应用仍然需要继续发挥作用,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷的请求而完全崩溃;(节省资源) 可恢复性 系统中部分组件失效并不会影响整...原创 2020-01-05 12:51:46 · 1804 阅读 · 0 评论 -
Kafka:分布式消息队列的抽象模型
最基础的分布式队列编程抽象模型是点对点模型,其他抽象构架模型居于改基本模型上各角色的数量和交互变化所导致的不同拓扑图。具体而言,不同数量的发送者、分布式队列以及接收者组合形成了不同的分布式队列编程模型。消息中间件的主要功能是**消息的路由(Routing)和缓存(Buffering)**。 Java Message Service,**JMS**,指的是面向消息中间件(MOM),用于在两个应用程...原创 2020-01-05 12:49:36 · 732 阅读 · 0 评论