
Kafka
南修子
深圳大数据求坑~
展开
-
kafka_3_设计及结构
kafka设计目标 高吞吐 在廉价的商用机器上单机可支持每秒100万条消息的读写 消息持久化 所有消息均被持久化到磁盘,无消息丢失,支持消息重放 完全分布式 Producer , Broker , Consumer均支持水平扩展 同时满足适应在线流处理和离线批处理 先启动zookeeper,后启动broker ...原创 2021-04-14 10:35:34 · 113 阅读 · 0 评论 -
kafka_2_消息系统使用场景
解耦 无需关注各系统业务,直接通过这个消息系统的统一接口交换数据 冗余 部分消息系统具有消息持久化功能,这个很重要,可以规避消息处理前丢失的风险 扩展 消息系统是统一的数据接口,各系统可独立扩展 峰值处理能力 消息系统可顶住峰值流量,业务系统可根据处理能力从消息系统中获取并处理对应量的请求 可恢复性 系统中部分组件失效并不会影响整个系统,它恢复后仍然可以从消息系统中获取并处理数据 异步通信 在不需要立即处理请求的场景下,可以将请求放入消息系统,合适的时候再处理 .原创 2021-04-14 10:18:38 · 138 阅读 · 0 评论 -
kafka_1_消息系统分类
Peer_to_Peer(Peer->同等地位的人) 一般基于Pull或者Polling接收消息 发送到队列中的消息被一个而且仅仅一个接受者所接收 即使有多个接受者在同一个队列中侦听同一个消息 即支持异步“即发即弃”的消息传送方式,也支持同步请求/应答传送方式 发布/订阅 发布到一个主题的消息,可被多个订阅者所接收 发布/订阅即可基于Push消费数据,也可以基于Pull或者Polling消费数据 解耦能力比P2P模型更强 ...原创 2021-04-14 10:09:46 · 312 阅读 · 0 评论