百度如何能搜出五分钟之前的网页？

百度为何能实时检索出五分钟之前新出的新闻？同城为何能实时检索出一秒钟之前发布的帖子？

产品提了一个需求：检索的时效性，对用户体验来说很重要，必须检索出5分钟之前的新闻，1秒钟之前发布的帖子，不复杂吧？

百度为何能实时检索出5分钟之前新出的新闻？同城为何能实时检索出1秒钟之前发布的帖子？

实时搜索引擎系统架构的要点是什么？

大数据量、高并发量情况下的搜索引擎为了保证实时性，架构设计上的两个要点：

• 索引分级；
• dump&merge；

首先，在数据量非常大的情况下，为了保证倒排索引的高效检索效率，任何对数据的更新，并不会实时修改索引。

画外音：因为，一旦产生碎片，会大大降低检索效率。

既然索引数据不能实时修改，如何保证最新的网页能够被索引到呢？

索引分级，分为全量库、日增量库、小时增量库。

如上图所述：

• 300亿数据在全量索引库中；
• 1000万1天内修改过的数据在天库中；
• 50万1小时内修改过的数据在小时库中；

当有修改请求发生时，只会操作最低级别的索引，例如小时库。

当有查询请求发生时，会同时查询各个级别的索引，将结果合并，得到最新的数据：

• 全量库是紧密存储的索引，无碎片，速度快；
• 天库是紧密存储，速度快；
• 小时库数据量小，速度也快；

分级索引能够保证实时性，那么，新的问题来了：

小时库数据何时反映到天库中，天库中的数据何时反映到全量库中呢？

dump&merge，索引的导出与合并，由这两个异步的工具完成：

• dumper：将在线的数据导出。
• merger：将离线的数据合并到高一级别的索引中去。

小时库，一小时一次，合并到天库中去；

天库，一天一次，合并到全量库中去；

这样就保证了小时库和天库的数据量都不会特别大；

如果数据量和并发量更大，还能增加星期库，月库来缓冲。

简单小结一下

超大数据量，超高并发量，实时搜索引擎的两个架构要点：

• 索引分级；
• dump&merge；

知其然，知其所以然。

思路比结论更重要。

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获取

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

四、AI大模型商业化落地方案

因篇幅有限，仅展示部分资料，需要点击文章最下方名片即可前往获

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量