本文探讨了在大数据环境下，如何通过合理划分大文件、利用服务器和工作负载的逻辑分配，优化数据处理效率。重点介绍了并发逻辑控制与数据查询性能提升策略，如使用Map<String, BlockingQueue>进行有序任务分配，以及将频繁访问的表存储在HBase中以加速查询过程。
思维方式不同
传统/互联网
功能实现，响应速度及时就ok了
大数据
需要考虑数据的拆分 -- 一份大文件进来需要拆分成很多个小文件
server/worker的关系
有些逻辑放在server端方便
比如并发逻辑的控制（顺序执行Map<String,BlockingQueue>， 只分配给一个worker来更新某张表的逻辑-->避免使用乐观锁了）
有些逻辑放在worker端方便
每次操作都需要访问的表，用hbase来查询会快很多。
--------------------------------
传统/互联网
功能实现，响应速度及时就ok了
大数据
需要考虑数据的拆分 -- 一份大文件进来需要拆分成很多个小文件
server/worker的关系
有些逻辑放在server端方便
比如并发逻辑的控制（顺序执行Map<String,BlockingQueue>， 只分配给一个worker来更新某张表的逻辑-->避免使用乐观锁了）
有些逻辑放在worker端方便
每次操作都需要访问的表，用hbase来查询会快很多。
--------------------------------
扫一扫
2837
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
