浅谈ES以及索引的本质

最新推荐文章于 2025-02-11 19:39:16 发布
最新推荐文章于 2025-02-11 19:39:16 发布
阅读量781 收藏 4
点赞数
分类专栏： 笔记 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Onthr/article/details/125247984
版权

目录

ES——elasticsearch

全文检索引入ES——倒排索引

ES——elasticsearch

应用场景：海量数据情况下的搜索。

什么是索引?索引的本质

空间换时间

帮助快速检索

以数据结构为载体（mysql以b+树为数据结构）

以文件的形式落地

为什么es比mysql适合做搜索？

mysql在超过百万千万数据量的情况下，搜索性能堪忧

mysql的索引数据结构:B+树,当层级越来越深的时候，性能也会下降。

单个node节点的体积越小，一层相对来说可以装更多个节点。

当以ID为索引的时候，确实如此。但是如果以文本(类似于文章的内容详情content)作为索引，它的大小必不可能小。性能也就下去了。

全文检索引入ES——倒排索引

倒排索引的建立过程：

1切词:把一句话切成一个一个词

2规范化:类似于去掉am这样的无用词，do和Doing直接划分为Do

3去重:顾名思义

4字典序:排的是id,放的是int数组

最低0.47元/天 解锁文章
浅谈分库分表的“读扩散”问题
BUG指挥课堂
09-02 295
mysql在单表数据过大时，查询性能会变差，因此当数据量变得巨大时，需要考虑水平分表。水平分表需要选定一个分片键，一般选择主键，然后根据id进行取模，或者根据id的范围进行分表。mysql水平分表后，对于非分片键字段的查询会有读扩散的问题，可以用普通索引列作分片键建一个新表，先查新表拿到id后再回到原表再查一次原表。这本质上是借鉴了倒排索引的思路。如果想要支持更多维度的查询，可以监听mysql的binlog，将数据写入到es，提供近实时的查询能力。当然，用tidb替换mysql也是个思路。
科普文：Elasticsearch系列之【结合稀疏、密集和地理字段进行综合检索】
为无为，事无事，味无味。
08-17 490
Elasticsearch 是一个强大的工具，可以近实时地搜索和分析数据。作为开发，我们经常会遇到包含各种类型字段的数据集。有些字段是必需的，或者包含了大量数据，而有些字段则几乎没有数据。那些有很多缺失值的字段称为“稀疏”字段，而那些大多数值都存在的字段称为“密集”字段。当然，还有表示地理位置数据的地理字段。在本文中，我们将探讨如何查询包含各种字段的数据。我们将研究稀疏、密集和地理字段的集成，以增强搜索功能。我们会通过动手示例（使用我最喜欢的books。
ES（Elasticsearch）索引管理（二）
chenbin1991smile的博客
06-11 270
1.类型和映射 类型在 Elasticsearch 中表示一类相似的文档。 类型由名称—比如user或blogpost—和映射组成。 映射, 就像数据库中的 schema ，描述了文档可能具有的字段或属性、每个字段的数据类型—比如string,integer或date—以及Lucene是如何索引和存储这些字段的。 类型可以很好的抽象划分相似但不相同的数据。但由于 Lucene 的处理方式，类型的使用有些限制。 1.1Lucene 如何处理文档 在 Lucene 中，...
Elasticsearch 索引结构
最新发布
qq_41893505的博客
02-11 1451
ES 既不像 MySQL 这样有严格的 Schema，也不像 MongoDB 那样完全无 Schema，而是介于两者之间。1️⃣ ES 的 Schema 模式ES 默认是 Schema-less（无模式） 的，允许动态添加字段。但 ES 也支持 Schema（映射 Mapping），可以手动定义字段类型，类似 MySQL。区别： MySQL 需要提前定义表结构，ES 则可以自动识别字段类型（但推荐手动定义）。3️⃣ ES 的 Schema 示例。
ES索引写入性能优化
zhutianrong520的博客
12-21 1018
最近一直想总结一篇es的优化文章，看了几篇博客，总结一下，方便以后遇上es线上优化问题有参考之处： 1、用bulk批量写入 es批量写入时，应该使用es的bulk写入，bulk写入还是应该考虑es的node数，shard分片数。业务中尽量将写入es的数据聚合起来分批写入。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bulk请求最佳的大小，需要对单...
Elasticsearch性能调优之基本优化
lm324114的专栏
03-22 406
1、搜索结果不要返回过大的结果集 es是一个搜索引擎，所以如果用这个搜索引擎对大量的数据进行搜索，并且返回搜索结果中排在最前面的少数结果，是非常合适的。然而，如果要做成类似数据库的东西，每次都进行大批量的查询，是很不合适的。如果真的要做大批量结果的查询，记得考虑用scroll api。 2、避免超大的document http.max_context_length的默认值是100mb，意味着...
搜索推荐相关
weixin_43612836的博客
11-30 1263
搜索算法 Learning to Rank方法： 1、单文档方法：根据query判断每个item的相似度 2、文档对方法：确定文档对的前后顺序 3、文档列表法：确定所有文档的先后顺序 Item：垂域、意图、语义相似性、item的热度、用户的搜索日志 排序算法的评估标准 AUC： 准确率：描述模型的推荐列表（分母）中有多少是正例item； 召回率：描述有多少正例item（分母）包含在模型的推荐列表中 AP average precision（平均精度）：在不同recall情况下 precisi
浅谈索引与搜索
chenxuyuana的博客
02-02 801
其实在Google上搜索，只有Bitmap有wiki词条，而Bitset是有没的，我认为Bitmap（位图）是一种算法思想，只要理解了这种思想，管他什么set还是map其实都不重要吧。想象一下，有100万篇文章，要求找出含有某个关键字的所有文章，我们只能先分词，然后遍历每一篇文章的每一个词，这是不能接受的。，这是一种非聚簇索引（二级索引），即数据与索引分开存储，执行sql时，先通过普通索引拿到主键值，再通过主键值通过主键索引拿到数据。介绍了索引尤其是倒排索引，再通过索引进行搜索。我们可以调整过滤顺序，
浅谈高可用分布式流数据存储设计
zybank_IT的博客
12-02 600
浅谈高可用分布式流数据存储设计数据存储的进化史流数据存储平台的设计1.存储结构设计2.缓存设计3.写入流程优化4.集群架构的设计思维沉淀 当数据规模发展到一定阶段，数据治理俨然已是企业系统建设的内在要求。伴随着业务的快速发展，多种多样结构复杂的数据给数据治理带来了巨大的考验。 早期的小规模业务，单体服务配合单个数据库即可满足业务需求。而当下，数据库分库分表，并采用读写分离和分布式的架构模型，同一份数据被转换成各种特定的数据格式，存放在各种各样的数据库中，会消耗大量的存储和计算资源。为解决这一数据治理乱象，分
Lucene简介与数据库索引
weixin_44738308的博客
05-25 481
Lucence  每个技术都会有他存在的原因：解决实际生活中的问题和需求。个人认为Lucene（全文检索引擎工具包）就是迎合了互联网的发展解决在大量数据中准确的查询问题，关键词的划分、关键词出现的次数、包含关键词的目标文档排序等等。 一、简介  Lucene是全文检索引擎工具包，他是slor、ElasticSearch的底层，他们各有各的优点但是因为分布式的原因ElasticSearch是明显比slor更深程序员的喜爱，万维网、github、StackOverflow都是使用的ElasticSearch
推荐召回--基于内容的召回：Content Based
hpu120623的博客
01-29 2414
一文彻底搞懂基于内容的召回策略!
ElasticSearch 性能优化实战，让你的 ES 飞起来！
石杉的架构笔记
08-10 3749
公众号后台回复“学习”，获取作者独家秘制精品资料扫描下方海报二维码，试听课程：（课程详细大纲，请参见文末）来源：http://wangnan.tech/post/elas...
es重建字段类型_ES之四：Elasticsearch Mapping类型映射概述与元字段类型
weixin_39953244的博客
12-19 786
Mapping,映射，相当于关系型数据库创建语句，定义文档字段及其类型、索引与存储方式。通常会涉及如下方面：文档中哪些字段需要定义成全文索引字段。文档中哪些字段定义为精确值，例如日期，数字、地理位置等。文档中哪些字段需要被索引(能通过该字段的值查询文档)。日期值的格式。动态添加字段的规则定义等。1、类型映射概述1.1 映射类型Elasticsearch支持meta-fields、fields or...
【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法
weixin_43315211的博客
12-14 1841
Elasticsearch
搜索中关于稀疏检索和稠密向量检索的召回效果比较
Angus
02-20 2907
不同检索方式说明最近在做搜索召回提升相关的研究工作。对比了稀疏检索和稠密向量检索的效果。其中使用的搜索引擎为elasticsearch8.x版本。稀疏检索包括BM25的检索方式，以及es官方在8.8之后版本提供的稀疏向量模型的方式。稠密向量检索，是指借助机器学习的模型做文本嵌入，然后用es8.x以后版本提供的向量检索。测试数据说明测试数据包括了中文和英文，涉及了法律和新闻数据。
ElasticSearch 5.x 部署及常见问题
m0_67393686的博客
08-16 614
下载 Elasticsearch5.x环境需求：es5.x版本 不能以root用户运行es，需增加普通用户，此例新加用户esJDK 1.8useradd es。
es报错
怎么肥事
09-04 306
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 解...
es有哪些分词方法
leijmdas的专栏
06-10 603
Standard Analyzer：标准分词器，是ES的默认分词器，按词切分、支持多语言，并将词汇单元转换成小写形式，去除停用词和标点符号。Stop Analyzer：语气助词分词器，基于SimpleAnalyzer增加了去除英文中的常用单词（如the，a等）的功能，不支持中文。IK Analyzer：是一个开源的，基于java语言开发的轻量级的中文分词工具包，支持细粒度和最大词长两种切分模式。Language Analyzer：多语言分词器，提供了30+种常见语言的分词器，但没有中文。
ES的索引结构与算法解析
JDDTechTalk的博客
04-24 758
作为搜索引擎的一部分，ES自然具有速度快、结果准确、结果丰富等特点，那么ES是如何达到“搜索引擎”级别的查询效率呢？首先是索引，其次是压缩算法，接下来我们就一起了解下ES的索引结构和压缩算法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值