深入理解搜索引擎——开篇

最新推荐文章于 2024-07-27 09:39:51 发布

原创

最新推荐文章于 2024-07-27 09:39:51 发布 · 1.4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#搜索引擎 #数据挖掘 #机器学习 #solr #elasticsearch

本文深入探讨搜索引擎，包括大搜和垂搜的区别，技术发展历程，如lucene、solr、ElasticSearch，以及向量检索方法。搜索引擎面临的核心问题包括理解用户需求、相关性匹配和信息信赖度提升。评估搜索引擎好坏的标准是效率、稳定性和精准性。未来的挑战在于平衡商业化和用户体验。

在这里插入图片描述

什么是搜索引擎？

搜索引擎，一般分为大搜和垂搜，其中大搜包含我们熟知的google、baidu、搜狗、神马及近期比较活跃的夸克，垂搜包含各领域门户网站的搜索引擎，例如电商搜索(淘宝、天猫、京东及拼多多等等)、本地生活搜索（美团、饿了么及盒马搜索）、资讯、视频搜索（头条、抖音、微博搜索）等。

从20世纪90年代初期发展至今，搜索引擎已经充斥到了生活中各个场景，目前发展为每个人离不开的重要工具，那么搜索引擎经历哪些发展过程？涉及了哪些技术？有哪几个核心问题？又是如何评价一个搜索引擎好坏的？我们今天就来系统的梳理一下，什么是搜索引擎。

搜索引擎是指的各类型的搜索平台运用特定的脚本及程序从互联网上采集内容生产者的信息，再对信息进行清洗、处理、组织及整合后保存至平台索引系统中，供内容消费者按照一定的用户需求及特定的策略检索出索引内容的一门搜索技术。

内容生产者：包含互联网上的各个网站、文章，整个互联网
平台：大搜平台，垂搜平台
内容消费者：各场景对应的用户

搜索引擎从技术上分为全文检索引擎及向量检索引擎。

针对全文检索引擎，有比较基础的lucene系，solr和ElasticSearch都是基于lucene做的二次封装提供的分布式全文检索引擎，各大厂也针对solr和ElasticSearch做了很多的优化和改动已适配属于自己的搜索引擎，当然，随着技术的更新以及业务的发展，很多大厂也走上了独立研发的道路以适应更复杂的应用场景，例如百度、阿里等。