《读书报告 -- Elasticsearch入门 》---- 简单使用（2）

Elasticsearch 分布式存储与搜索基础
最新推荐文章于 2025-12-02 09:42:37 发布
最新推荐文章于 2025-12-02 09:42:37 发布
阅读量1.7k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据机器学习实践探索 文章标签： 大数据 ES
原文链接：https://season.blog.youkuaiyun.com/article/details/54236333

文章大纲

《读书报告 – Elasticsearch入门 》

第四章 分布式文件存储

这章的主要内容是理解数据如何在分布式系统中存储。

4.1 路由文档到分片

创建一个新文档时，它是如何确定应该存储在分片1还是分片2上的呢？

这个过程不是随机的，因为将来要检索文档。事实上，它根据一个简单的算法决定：

shard = hash(routing) % number_of_primary_shards

routing值是一个任意字符串，它默认是_id但也可以自定义。这个routing字符串通过哈希函数生成一个数字，然后除以主切片的数量得到一个余数(remainder)，余数的范围永远是0到number_of_primary_shards - 1，这个数字就是特定文档所在的分片。

这也解释了为什么主分片的数量只能在创建索引时定义且不能修改：如果主分片的数量在未来改变了，所有先前的路由值就失效了，文档也就永远找不到了。

所有的文档API（get、index

了解本专栏 订阅专栏 解锁全文 超级会员免费看
《读书报告 -- Elasticsearch入门 》---- 安装以及简单使用（1）
shiter编写程序的艺术
12-26 1850
读书报告第一章 Elasticsearch入门Elasticsearch是一个实时的分布式搜索和分析引擎，使得人们可以在一定规模上和一定速度上实现数据检索，常用于全文本检索，结构化检索、分析以及三种的结合应用。Wikipedia、Guardian、Stack Overflow、Github都在使用Elasticsearch实现自己的相关检索工作。1.1 you konw,for searchElas
【读书笔记-《30天自制操作系统》-1】Day1~Day2
Ocean1994的博客
08-11 1187
30天自制操作系统Day1-Day2读书笔记，主要讲解汇编语言，寄存器与Makefile基础内容
《读书报告 -- Elasticsearch入门 》--简单使用（2）
weixin_30674525的博客
11-17 143
《读书报告 – Elasticsearch入门 》 ' 第四章 分布式文件存储 这章的主要内容是理解数据如何在分布式系统中存储。 4.1 路由文档到分片 创建一个新文档时，它是如何确定应该存储在分片1还是分片2上的呢？ 这个过程不是随机的，因为将来要检索文档。事实上，它根据一个简单的算法决定： shard = hash(routing) % numbe...
《读书报告 -- Elasticsearch入门 》-- 安装以及简单使用（1）
weixin_33709219的博客
12-26 151
《读书报告 – Elasticsearch入门 》 第一章 Elasticsearch入门 Elasticsearch是一个实时的分布式搜索和分析引擎，使得人们可以在一定规模上和一定速度上实现数据检索，常用于全文本检索，结构化检索、分析以及三种的结合应用。Wikipedia、Guardian、Stack Overflow、Gith...
全文检索-ElasticSearch入门
lijinghua的博客
09-24 2832
1. 基于Lucene的全文检索 1.1 全文检索概念     将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行检索，从而达到搜索相对较快的目的。从非结构化数据中提取出来并重新组织的信息，我们称之为索引。 例如：字典中的拼音表、偏旁部首表就相当于字典的索引。     这种先建立索引，再对索引进行搜索的过程就叫全文检索（Full-text Search）。 注意：索引创建过程十分耗时，但是一旦创建有利于复用。全文检索主要处理的是查询，所以虽然创建索引耗时，
Elasticsearch服务器开发（第2版） - 读书笔记 第一章 Elasticsearch集群入门
小谷的博客
07-22 929
本文摘要： Elasticsearch集群入门指南介绍了全文检索基础概念和Elasticsearch核心架构。主要内容包括：Lucene的倒排索引原理、文档分析过程（字符过滤、分词、标记过滤）、评分机制（TF/IDF）；Elasticsearch的数据结构（索引、文档、映射）和集群概念（节点、分片、副本）；索引建立与搜索流程，包括请求路由和分片查询机制；以及基本的文档操作示例。文章还简要提及了安装配置注意事项和目录结构说明，为初学者提供了Elasticsearch的全面基础认知。
Qwen3-VL-30B在图书馆旧书扫描件自动分类中的应用成效
weixin_29607511的博客
12-01 616
本文介绍如何利用多模态大模型Qwen3-VL-30B实现图书馆旧书扫描件的自动分类。相比传统OCR与规则系统，该模型具备更强的语义理解、图文关联与零样本迁移能力，可高效处理模糊、破损及无结构文本的古籍文献，提升数字化效率与准确性。
ElasticSearch原理入门--讲得真不错
Doug Wang的博客
09-27 214
ElasticSearch原理入门--讲得真不错
【《WebGL编程指南》读书笔记-WebGL入门】
floating_heart的博客
04-07 1117
《WebGL编程指南》读书笔记-第二章 WebGL入门。 初识绘图流程、缓冲区、着色器、attribute变量和uniform变量。
安装elasticsearch-8，腾讯后台开发
2401_83621095的博客
04-14 1092
最全的Linux教程，Linux从入门到精通。
ElasticSearch
m0_49528561的博客
06-02 1178
ElasticSearch胎教级入门
《Spring实战》读书笔记-第6章 渲染Web视图，java基础入门第二版pdf百度云
m0_64867588的博客
12-05 364
Spring提供了两种支持JSP视图的方式： InternalResourceViewResolver会将视图名解析为JSP文件。另外，如果在你的JSP页面中使用了JSP标准标签库（JavaServer Pages Standard Tag Library, JSTL）的话，InternalResourceViewResolver能够将视图名解析为JstlView形式的JSP文件，从而将JSTL本地化和资源bundle变量暴露给JSTL的格式化（formatting）和信息（message） 标签。 .
【Zookeeper】ZAB协议
qq_43494013的博客
11-28 690
【Zookeeper】ZAB协议
共享出行数字化转型：车辆调度 AI 优化与用户体验数据化迭代实践
最新发布
九河智造云的内容中心
12-02 325
某头部共享出行企业的实践显示，AI 调度系统上线后，车辆应答率提升 40%，用户平均候车时间从 12 分钟缩短至 6.5 分钟，车辆日均周转率提高 32%，运营效率显著提升。车辆调度 AI 优化与用户体验数据化迭代的实践，不仅解决了传统运营中的效率低、体验差等问题，更构建了以数据为核心的竞争优势。随着 AI、物联网、5G 等技术的持续迭代，未来将实现车辆调度、服务优化、安全管控的全链路智能升级，为用户提供更便捷、安全、个性化的出行服务，同时为城市交通可持续发展注入持久动能。
后端在分布式中的Apache Kafka
2509_93945680的博客
11-28 412
比如我们有一次做促销活动，突然流量暴涨，临时加了几台消费者实例，Kafka自动把分区负载均衡过去，系统愣是没抖一下。另外，Kafka的消息持久化机制也靠谱，数据在磁盘上存着，就算消费者宕机了，重启后还能从上次的位置继续读，不怕数据玩失踪。另外，Kafka的监控也得跟上，光靠默认配置容易漏掉性能瓶颈。举个例子，我们项目里把用户点击事件塞进Kafka主题，下游的风控服务和数据分析服务各取所需，谁也不用等谁，效率直接翻倍。总之，技术选型得量体裁衣，先把Kafka的核心机制摸透，再往架构里套，才能少走弯路。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1845
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
zhengzaifeidelushang的博客
11-28 697
Flink CDC系列之：Kafka 数据接收器配置选项类KafkaDataSinkOptions
Flink CDC系列之：JSON 序列化器JsonRowDataSerializationSchemaUtils
zhengzaifeidelushang的博客
11-27 689
Flink CDC系列之：JSON 序列化器JsonRowDataSerializationSchemaUtils
挣值管理中引入ES——更准确的用时间维度监控项目执行
qiyong的专栏
12-02 585
传统挣值管理虽然能同时监控成本和进度，但其进度指标(如进度偏差SV和进度绩效指数SPI)均以货币价值为单位，导致项目后期评估失真，且难以区分关键路径与非关键路径任务的进度影响。ES指标通过引入"计划完成速度(PAR)"这一关键参数，将已完成工作量的预算价值(EV)转换为时间单位，使进度评估更加直观和可靠。本文将深入探讨ES指标的理论基础、计算方法及其在弥补传统挣值管理局限方面的价值，为项目管理者提供更全面的绩效评估工具。
阮一峰es6入门读书笔记
07-17
阮一峰的《ECMAScript 6 入门》是一本系统介绍 ECMAScript 6（即 ES2015）特性的书籍，涵盖了从基础概念到高级用法的全面内容。以下是一些关键知识点的总结： ### ### **ECMAScript 与 JavaScript 的关系** ECMAScript 是 JavaScript 的语言规范，而 JavaScript 是 ECMAScript 的一种实现。此外，JScript 和 ActionScript 也是 ECMAScript 的方言实现。在日常开发中，这两个术语经常被互换使用。 ### ### **ES6 与 ECMAScript 2015 的关系** ES6 是 ECMAScript 的第六个版本，也被称为 ECMAScript 2015。这个版本引入了许多重要的新特性，如 `let` 和 `const` 关键字、箭头函数、类声明、模块化支持等[^1]。 ### ### **Iterator 接口** 一个对象如果要实现可被 `for...of` 循环调用的 Iterator 接口，必须在其 `Symbol.iterator` 属性上部署遍历器生成方法。该方法返回一个迭代器对象，负责定义如何遍历目标对象。例如，可以通过自定义 `RangeIterator` 类来实现一个简单的数值范围遍历器： ```javascript class RangeIterator { // 构造方法 constructor(start, stop) { this.value = start; this.stop = stop; } // 返回 Symbol.iterator 属性，这是一个预定好的特殊值 [Symbol.iterator]() { return this; } next() { var value = this.value; if (value < this.stop) { this.value++; return { done: false, value: value }; } return { done: true, value: undefined }; } } function range(start, stop) { return new RangeIterator(start, stop); } // 使用 for...of 遍历自定义的 RangeIterator for (var value of range(0, 3)) { console.log(value); // 输出 0, 1, 2 } ``` ### ### **Iterator 接口的应用场景** Iterator 接口广泛应用于需要逐项处理集合数据的场合，例如： - 使用 `for...of` 循环遍历数组、字符串、Map、Set 等可迭代对象。 - 自定义数据结构时，通过实现 `Symbol.iterator` 方法使其支持标准的迭代协议。 - 生成器函数（Generator）内部使用 Iterator 实现惰性求值和异步控制流。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值