一例万级写入并发,百亿级数据,毫秒级返回架构分享

本文分享了一个交易系统的架构设计,面对毫秒级写入、亿级数据量和实时查询的需求,通过hbase、redis和分布式策略实现高性能。利用hbase的rowkey优化写入与查询,借助redis的有序集合进行分页和实时更新,确保用户体验。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

肉眼品世界导读: 在互联网环境里,很多时候常常会有海量级别的订单,高并发,低延迟,不同的业务场景有不同的做法。

更多优质内容请关注微信公众号“肉眼品世界”(ID:find_world_fine)

业务场景

一交易系统,毫秒内就会产生一条交易数据,有付款方,收款方,交易类型,交易符号,分别为from ,to ,type,symbol,前面玩过一下apache phoenix 来做sql查询《从phoenix hbase谈谈研发管理和技术选型》,效率还是慢了点儿,还是原生的好

从业务需求来看主要有几个点儿:

1:交易记录实时写入,实时查询,支持交易记录多条件查询,还能分页,这里条件刚好比较固定,就username(交易方),type,symbol

2:  用户的余额要实时返回,账目可追溯

3: 海量交易数据

这里使用了hbase作为存储介质,当然大家也可以尝试一下tidb

数据落地

hbase写入效率还是比较高的,但是太高有时会自动不让写入,写入也是有一些参数需要优化调整的,多条件的复合查询对于hbase来说有时真是有点儿XX,所以rowkey的设计特别关键,但是rowkey并不是万能的

hbase写入优化:

有很多参数优化的帖子,根据业务实际情况动态调整,这里就不一一列举了,这里主要讲一下rowkey和数据结构设计:

一:第一回合


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值