版本課堂筆記:第11课

本文详细介绍了ReceiverTracker的架构设计及工作流程。ReceiverTracker通过启动多个Job来管理Receiver,并利用ReceiverSupervisor实现数据接收与处理。数据接收后会被转换为Block并通过两种方式进行存储:BlockManager存储与WAL方式存储。

ReceiverTacker 的架構設計

 

ReceiverTacker 接受數據後怎麼處理數據!

 

  1. ReceiverTacker 啟動 Receiver 的方式就是封裝成一個又一個的 Job,有多少個 Job 其實它就會啟動多少 Receiver,多少 Receiver 實際上就會分配多少個 Job, 每個 Job 里面就有一個 Task, 而 Task 就是一條數據,里的數據就是 Receiver 的數據。
  2. ReceiverTacker 在啟動 Receiver 的時候,它有一個 ReceiverSupervisor 當我們看見 ReceiverSupervisorImpl 作為它的自己的實現,ReceiverSupervisor 自己啟動的時候它會轉過來啟動Receiver,然後Receiver 會不斷的接受數據,然後轉過來通過 BlockGenerator 把自己接受的數據變成一個一個的 Block,背後自己有定時器,這個定時器會不斷的把數據存儲,但存儲有兩種方式:
    1. 通過BlockManager 存儲
    2. 先寫日誌就是 WAL 的方式
  3. 存儲過之後就是 ReceiverSupervisorImpl 會把存儲的數據的元數據匯報給 ReceiverTacker ,實際上是匯報 ReceiverTacker 中的 RPC 通信消息實體,ReceiverTacker 通過 RPC接受到數據之後就轉過來進行下一步的消息管理工作了。

转载于:https://my.oschina.net/jcchoiling/blog/679302

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值