搜索分段并行查询思考

    架构没有最好,只有最合适,架构和技术、成本、需求、紧迫度都有关系,所以不同时期可能需要不同的架构,追求不同需要的架构也会有差异,所以可以参考别人的实现方式,但是不能生搬硬套,要根据自己的实际情况,考虑如何实现更适合自己的架构。
    讨论一个提升搜索性能的问题时,有些人思维定式,提出并行分段查询的方式,没有考虑实际(控制硬件投入)、不分析日志(80%在前2个分片已满足需求),结果是cpu上去了性能基本没有差异,最后还是通过优化的方式,把性能提升了2倍。下面对搜索中,并行分段查询的几种方式做了简单比较。
    例如:为了提升搜索性能有多种方式
    1、可以在一个进程中,并行查询每个分片。这样的好处是灵活,可以根据自己的需求,实现不同的并行策略,性能比较好,但是如果考虑节约成本的情况下,这种就非常不合适,因为占用的cpu可能会翻好几倍。
    2、可以把数据切小,一个机器上部多个服务。这样也能提升性能、节约内存(多进程共用),实现简单,但是灵活性差,而且同样cpu可能会翻好几倍,如果对硬件投入敏感的话,这种方式也不一定合理。
    3、可以通过性能优化(离线计算;算法;降级;在效果近似的情况下减少数据量等)方式,提升系统整体承载能力。这种方式不单能提升性能,还能减少硬件投入,但是这种方式,可能会带来效果的微小损失。
    

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值