架构没有最好,只有最合适,架构和技术、成本、需求、紧迫度都有关系,所以不同时期可能需要不同的架构,追求不同需要的架构也会有差异,所以可以参考别人的实现方式,但是不能生搬硬套,要根据自己的实际情况,考虑如何实现更适合自己的架构。
讨论一个提升搜索性能的问题时,有些人思维定式,提出并行分段查询的方式,没有考虑实际(控制硬件投入)、不分析日志(80%在前2个分片已满足需求),结果是cpu上去了性能基本没有差异,最后还是通过优化的方式,把性能提升了2倍。下面对搜索中,并行分段查询的几种方式做了简单比较。
例如:为了提升搜索性能有多种方式
1、可以在一个进程中,并行查询每个分片。这样的好处是灵活,可以根据自己的需求,实现不同的并行策略,性能比较好,但是如果考虑节约成本的情况下,这种就非常不合适,因为占用的cpu可能会翻好几倍。
2、可以把数据切小,一个机器上部多个服务。这样也能提升性能、节约内存(多进程共用),实现简单,但是灵活性差,而且同样cpu可能会翻好几倍,如果对硬件投入敏感的话,这种方式也不一定合理。
3、可以通过性能优化(离线计算;算法;降级;在效果近似的情况下减少数据量等)方式,提升系统整体承载能力。这种方式不单能提升性能,还能减少硬件投入,但是这种方式,可能会带来效果的微小损失。
搜索分段并行查询思考
最新推荐文章于 2024-09-27 16:57:37 发布