百万用户同时在线之Strom任务设计

本文介绍了一种利用Strom平台实现大规模在线人数统计的方法。通过详细设计心跳数据采集流程,采用Hyperloglog结构优化内存占用,并通过合理配置Spout与Bolt提高系统吞吐量。此外,还讨论了如何进行压力测试来验证系统的稳定性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

在线人数需求

  • 当天总在线人数
  • 同时在线人数
  • 同时在线人数统计周期1分钟

 

用户心跳数据采集

  • 登陆后前30秒每10秒汇报一次心跳
  • 登陆超过30秒每30秒汇报一次心跳
  • Max心跳QPS=500W/30s=170W+

 

Strom任务设计

  • 使用Hyperloglog结构代替HashMap做过滤
  • spout发送bolt使用localOrShuffleGrouping减少网络传输
  • spout与bolt数量是worker数量N倍,让worker处理量保持均衡
  • Kafka partition与worker数量相等消除热点
  • countbolt使用ticktuple定时将hyperloglog发送至sumbolt进行汇总【HyperLogLog.merge(HyperLogLog)】
  • sumbolt负责汇总并定期持久化至DB,worker重启首先装载DB数据
  • 关闭ACK消息跟踪,提升性能

 

Strom任务拓扑结构

 

压力测试

模拟170W QPS心跳信息 

 

 HyperLogLog: http://woodding2008.iteye.com/blog/2332505

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值