大数据的思维方式

本文探讨了在大数据环境下,如何通过合理划分大文件、利用服务器和工作负载的逻辑分配,优化数据处理效率。重点介绍了并发逻辑控制与数据查询性能提升策略,如使用Map<String, BlockingQueue>进行有序任务分配,以及将频繁访问的表存储在HBase中以加速查询过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

思维方式不同

传统/互联网
功能实现,响应速度及时就ok了

大数据
需要考虑数据的拆分 -- 一份大文件进来需要拆分成很多个小文件
server/worker的关系
有些逻辑放在server端方便
比如并发逻辑的控制(顺序执行Map<String,BlockingQueue>, 只分配给一个worker来更新某张表的逻辑-->避免使用乐观锁了)

有些逻辑放在worker端方便
每次操作都需要访问的表,用hbase来查询会快很多。

--------------------------------
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值