Elasticsearch -- Index Settings 

ELK合集(四):Elasticsearch关键术语之Index索引 持续更新 这个章节涉及到的相关概念 使用和配置等 会持续更新 Index索引 概念 名词 就是一个表 存了一类文档 从数据库的角度 ES的一个index索引就是一个表 (数据库常说 查一下这个表的数据 ES叫做查一下这个index索引的数据) 其他含义 名词 一个Btree索引 一个倒排索引 也叫索引 动词 给ES数据库插入一条Document文档数据的过程 也叫索引 创建一个倒排索引的过程 也叫... 阅读详情

 

原

开源中国合格公民

  开源中国合格公民 发布于 2018/11/07 11:11 

 

ElasticSearch

索引级别的设置,可以在每一个索引上使用。
静态设置:只能在索引创建时或关闭索引上设置。
动态设置:可以使用update-index-settings API在打开的索引上更改它们。
警告:更改已关闭索引的静态或动态索引设置,可能会导致设置不正确;如果不删除并重新创建索引,则无法纠正。

Static index settings

  • index.number_of_shards:设置索引的主分片数,默认是:5;只能在创建索引的时候设置,在索引关闭的时候不能使用。注意:每个索引的最大分片数是:1024,限制索引的分片,可以防止因分片过多,占用过多的资源,导致系统不稳定。这个最大分片数:1024,可以被修改。export ES_JAVA_OPTS="-Des.index.max_number_of_shards=128"。
  • index.shard.check_on_startup:在打开索引分片之前是否检查分片。检测到损坏的分片时,它将阻止分片被打开。
    false:(默认)打开分片时不检查损坏。
    checksum:检查物理损坏。
    true:物理损坏和逻辑损坏都检查。非常消耗CPU和内存
    fix:物理损坏和逻辑损坏都检查。已损坏的段(Segment)将移除,会导致数据丢失。慎用!
    警告:检查大索引时,将很耗时。
  • index.codec:默认值:default,是使用LZ4压缩算法,压缩存储的数据;可以设置成best_compression;它使用 DEFLATE 拥有更高的压缩比,但是存储性能将会降低。在修改压缩类型之后,在下次段合并的时候将会使用。
  • index.routing_partition_size:设置自定义的路由值可以转到几个分片上,也就是取得分片的一个子集,然后再在子集中选择一个分片 要开启这个功能,需要把值设置成大于1且小于index.number_of_shards;详见

Dynamic index settings

  • index.number_of_replicas:每个主分片拥有的副本数,默认是:1。
  • index.auto_expand_replicas:设置是否根据节点数量,自动扩展副本数量。可以设置上限和下限(e.g. 0-5),也可以使用all做上限(e.g. 0-all);默认是:false;注意:这个分配副本的设置和其他关于副本的设置没有关联;如果用的规则阻止分配所有副本,则可能导致群集运行状况变为黄色。
  • index.refresh_interval:索引执行刷新操作的频率,这会使索引的最近更改对搜索可见。默认是:1s;可以设置成:-1,禁用刷新。
  • index.max_result_window:在搜索的时候,from:决定要返回的文档从哪里开始,size:决定返回多少条。假如from+size很大的话,将会消耗很多的内存和时间;这个设置就是为了防止内存不够用的情况。默认是:10000,也就是说from+size不能大于10000;如果需要获取更多的数据,请看 Scroll 和 Search After
  • index.max_inner_result_window:和index.max_result_window原理差不多,这个设置限制的是返回结果中的结果。默认是:100。
  • index.max_rescore_window:在搜索此索引时,rescore请求的window_size的最大值。默认为index.max_result_window,即10000。搜索请求占用堆内存和时间与max(window_size,from + size)成比例,这限制了内存的使用。
  • index.max_docvalue_fields_search:查询中允许的最大docvalue_field数,默认为100,Doc-value 字段成本很高,因为它们可能会导致每个字段的每个文档搜索。
  • index.max_script_fields:查询中允许的最大script_field数。默认为32。
  • index.max_ngram_diff:NGramTokenizer和NGramTokenFilter的min_gram和max_gram之间允许的最大差异。默认为1。
  • index.max_shingle_diff:ShingleTokenFilter的max_shingle_size和min_shingle_size之间允许的最大差异。默认为3。
  • index.blocks.read_only:设置为true以使索引和索引元数据只读,false设置为允许写入和元数据更改。
  • index.blocks.read_only_allow_delete:与index.blocks.read_only相同,但允许删除索引以释放资源。
  • index.blocks.read:设置为true以禁用对索引的读取操作。
  • index.blocks.write:设置为true以禁用对索引的数据写入操作。与read_only不同,此设置不会影响元数据。例如,您可以使用write阻塞关闭索引,但不能使用read_only阻塞关闭索引。
  • index.blocks.metadata:设置为true以禁用索引元数据读取和写入。
  • index.max_refresh_listeners:索引的每个分片上可用的最大刷新侦听器数。refresh=wait_for.
  • index.highlight.max_analyzed_offset:高亮显示的最大字符数。此设置仅在对没有偏移或词向量的索引的文本上适用。默认情况下,此设置在6.x中未设置,默认为-1。
  • index.max_terms_count:Term查询中可以使用的最大Term数。默认为65536。
  • index.routing.allocation.enable:控制此索引的分片分配。
    all:默认,允许分配所有的分片;
    primaries:只允许分配主分片
    new_primaries:仅允许分配新创建的主分片
    none:不允许分配
  • index.routing.rebalance.enable:为此索引启用分片重新平衡。
    all:默认,允许分片重新平衡。
    primaries:只允许主分片重新平衡。
    replicas:只允许副本分片重新平衡。
    none:不允许分片重新分配。
  • index.gc_deletes:允许已删除文档的版本号,仍可用于进一步版本化操作的时间长度。默认60s
  • index.max_regex_length:Regexp Query中可以使用的正则表达式的最大长度。默认为1000.
  • mapping.coerce: 默认是:true,强制类型转换,把json中的值转为ES中字段的数据类型,譬如:把字符串"5"转为integer的5;false:当json的值与es字段类型不匹配将会拒绝。
ElasticSearch手动创建mapping 前面也提到过关于手动创建mapping,接着上一篇关于object类型存储以及mapping的介绍,我们接下来就介绍下如何手动创建mapping #手动创建mapping PUT /lib6 { "settings":{ "number_of_shards" : 3, "number_of_replicas" : 0 }, "mappings":{ "b... 阅读详情

相关推荐

stm32h743的hrtim使用生成pwm波

HRTIM(High-Resolution Timer)是一种高精度定时器,其时钟频率可直接与CPU主频同步,达到480MHz。相比之下,其他传统定时器需挂载在APB总线上,受总线频率限制,最高仅支持240MHz。这种直接时钟同步机制显著提升了定时器的分辨率和精度。

d13211322的博客 1614

ElasticSearch学习笔记十(词项查询)

搜索是 ElasticSearch 核心功能,也是最为丰富有趣的功能,接下来我们开始学习全文查询、词项查询、复合查询、嵌套查询、位置查询、特殊查询等查询功能,从多个方面逐一剖析 ElasticSearch 中搜索的玩法! 这一篇主要讲 ElasticSearch 的词项查询功能。

怡宝的大方哥 1735

前端埋点的实践

1、前言 开始正文前先介绍一下埋点的概念~,(熟悉的朋友可以略过) 前端埋点: 是一种手段,它的目的是上报相关行为数据,相关人员以数据为依据来分析产品在用户端的使用情况,根据分析出来的结果辅助产品优化、迭代。 BI:商业智能,公司内部做数据分析相关的部门。 2、背景 在流量红利逐渐消失的现在,数据的采集、分析和精细化的运营显得更加重要,所以埋点的需求在互联网产品中是很常见的,目的上面也提到了。我们的追求就是又快又好的做好埋点工作,但是现实却不那么美好;目前我们团队在前端埋点方面存在一些痛点: 在构造埋点字段

Arui_0的博客 1773

ElasticSearch Query DSL(六)

文章目录ElasticSearch Query DSL(六)Match All查询术语级别的查询exists查询请求例子:exists顶级参数设置查找缺少索引值的文档fuzzy模糊查询查询例子使用高级参数的示例fuzz的顶级参数``参数ID查询前缀查询请求例子prefix顶级参数``参数加速前缀查询范围查询请求例子:rang的顶级参数``参数在`text`和`keyword`上运行`range`查询在`date`字段上运行`range`查询正则查询请求例子regexp顶级参数``参数term询请求例子ter

李玉志的博客 613

第1部分 基础算法(提高篇)--第2章 二分与三分1439:【SCOI2010】传送带

1439:【SCOI2010】传送带 时间限制: 2000 ms 内存限制: 65536 KB 提交数: 372 通过数: 212 【题目描述】 在一个2维平面上有两条传送带,每一条传送带可以看成是一条线段。两条传送带分别为线段AB和线段CD。lxhgww在AB上的移动速度为P,在CD上的移动速度为Q,在平面上的移动速度R。现在lxhgww想从A点走到D点,他想知道最少需要走多长时间。 【输入】 输入数据第一行是4个整数,表示A和B的坐标,分别为Ax,Ay,Bx,By 第二行是4个整

zqhf123的博客 839

嵌入式调光控制库:轻量级软启/渐变/记忆逻辑实现

调光控制是智能照明系统的核心基础功能,涉及亮度调节、人机交互与电气安全多重需求。其底层原理依赖于对相位角或PWM占空比的精确时序控制,并需融合软启动、渐变过渡、状态记忆等工程化逻辑。这类轻量级调光行为逻辑层,不直接操作硬件寄存器,而是以确定性、无动态内存、可配置的方式封装用户意图到目标亮度值(0–100%)的映射过程,显著提升产品鲁棒性与跨平台复用能力。广泛应用于TRIAC交流调光、LED直流PWM驱动及DALI/Matter等智能照明协议网关中,尤其适合资源受限的Cortex-M系列MCU和FreeRTO

weixin_28949937的博客 579

Elasticsearch 2: 管理索引和文档

目录1. 索引的管理1.1 列出所有索引1.2 关闭索引1.3 打开索引1.4 配置索引1.4.1 静态设置1.4.2 动态设置1.4.3 配置映射2. 文档的管理2.1 增加文档2.2 文档的 id2.3 查询文档2.4 更新文档2.5 删除文档 1. 索引的管理 对索引的操作遵循Restful风格,GET 用来查看索引,PUT 用来创建索引,DELETE用来删除索引,HEAD用来检验索引是否存在 1.1 列出所有索引 GET /_cat/indices?v 1.2 关闭索引 如果关闭了一个索引,

Fisher3652的博客 2297

最近爆火的 Ontology 本体是什么?一文看懂基础概念 + 落地实操

1993 Tom Gruber原版定义:本体是对领域概念化模型的显式形式化规范。1998 Studer完善通用定义:本体是共享、明确、形式化的领域概念模型规范。大白话翻译:本体就是机器能看懂的行业词典+业务规则手册。数据库只管存数据,本体只管定规则,知识图谱是规则+数据结合体。区别于普通开源本体工具,这款国产商用本体平台核心优势:业务沙盘推演、可控业务数据写回、全链路字段级数据血缘审计,适配企业生产级业务落地。

驽马不舍 368

ElasticSearch学习(三): index的Settings配置参数

所谓静态配置项就是在创建index时指定,创建后不能再修改。静态配置里,有重要的部分是配置分析器(config analyzers)。所谓动态配置项是在创建index后,还可以通过API动态来修改。排序的字段只能是boolean,numeric,date,(1)慢搜索日志设置。(2)慢索引日志设置。

weixin_40482816的博客 5537

把 ABAP SQL 窗口函数讲透:从 OVER 到 LEAD、RANK 与累计分析

ABAP SQL窗口函数在不丢失明细记录的前提下,为每行数据提供组内统计和排名功能。它通过OVER子句定义计算窗口,支持三类函数:聚合型(AVG/SUM等)、排名型(ROW_NUMBER/RANK等)和取值型(LEAD/LAG)。相比GROUP BY会合并多行数据,窗口函数保留原始记录同时附加计算结果,特别适合需要保留明细又要展示统计信息的业务场景,如销售排名、客户分层分析等。语法核心是OVER子句,通过PARTITION BY分组,ORDER BY排序,可灵活定义计算范围。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1274

大数据平台符合信创(CDH国产化代替)详细方案(企业内部不外传方案)

信创旨在实现信息技术产业的自主可控,减少对外部技术的依赖,从而提升国家信息安全和经济发展的自主性。在此背景下,中国对信创提出了更高的要求,以期在激烈的市场竞争中占据有利地位。信创不仅关乎技术层面的创新,更涉及到产业链条的整合与优化。它要求从基础硬件、操作系统、数据库、中间件等各个层面实现国产替代,构建完整的信息技术生态体系。尤其是在做国企项目时,就有硬性要求使用符合信创(国产代替)。在信创背景下,符合要求的产品必须具备自主可控、安全可靠以及性能卓越等核心特点。

大模型大数据攻城狮的专栏 3513

关于elasticsearch的terms查询超过最大terms数

根据资料,这是es对terms的数量限制。最高限制为65536。

qq1261275789的博客 2454

一文整理深度学习【深度学习linux的docker+pytorch+cuda+nvidia-docker+vscode配置】

docker+pytorch+cuda+nvidia-docker+vscode

LetsonH的博客 1336

ElasticSearch Index Settings

目录 Index Settings 静态索引配置 index.number_of_shards index.shard.check_on_startup index.codec index.routing_partition_size index.analysis.analyzer.default.type 动态索引配置 index.number_of_replicas index.auto_expand_replicas index.refresh_interval in...

飞一站的博客 1526

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

JAVA代码ES设置setting_Elasticsearch -- Index Settings

index.number_of_replicas:每个主分片拥有的副本数,默认是:1。index.auto_expand_replicas:设置是否根据节点数量,自动扩展副本数量。可以设置上限和下限(e.g. 0-5),也可以使用all做上限(e.g. 0-all);默认是:false;注意:这个分配副本的设置和其他关于副本的设置没有关联;如果用的规则阻止分配所有副本,则可能导致群集运行状况变为黄...

weixin_39738755的博客 1130

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Elasticsearch——Index Settings详解

作者简介:大家好,我是哥,前中兴通讯、美团架构师,现某互联网公司联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬学习必须往深处挖,挖的越深,基础越扎实!

smart_an的专栏 1070

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Elasticsearch7.x——Index Settings详解

索引级别的设置可以针对每个索引单独设置。

吴声子夜歌的博客 1338

Elasticsearch -- Index Settings

索引级别的设置,可以在每一个索引上使用。 静态设置:只能在索引创建时或关闭索引上设置。 动态设置:可以使用update-index-settings API在打开的索引上更改它们。 警告:更改已关闭索引的静态或动态索引设置,可能会导致设置不正确;如果不删除并重新创建索引,则无法纠正。 Stat...

chihu2163的博客 706

ES搜索(ElasticSearch)(三) 创建索引

采用Java的方式创建ElasticSearch的index、settings、mapping settings可采用XContentType.JSON也可以采用settingsJson的方式 mapping可以采用数据库Model的方式根据自定义规则映射成ES的数据类型 package com.demo.plugin; import static org.elasticsearch.common.xcontent.XContentFactory.jsonBuilder; import java.io.

YLJ_优快云的博客 653

elasticsearch分词设置 报错node settings must not contain any index level settings

参考的下面两篇老文章设置的分词 结果报错了 https://www.cnblogs.com/zhangboyu/p/7451996.html https://jingyan.baidu.com/article/1612d500adc699e20f1eee7b.html 老的分词分词设置要 修改elasticsearch.yml文件,把ik分词器设置为es的默认分词器 index.anal...

过客的博客 8566

ElasticSearch之Get index settings API

ElasticSearch之Get index settings API

流水账 563

Elasticsearch8报错:node settings must not contain any index level settings解决方法

Elasticsearch8报错:node settings must not contain any index level settings解决方法

weixin_42264524的博客 2153

Elasticsearch核心架构:Index索引详解与管理操作实战(完整版)

在 Elasticsearch 中,Index(索引)是存储文档数据的顶层容器,也是管理数据、分配分片、控制集群性能的核心单元。新手经常混淆:索引是什么?和数据库表有什么区别?如何创建、删除、修改、查看索引?本文从索引定义、核心结构、与数据库对比、分片机制、索引管理API、运维最佳实践全方位讲解,包含流程图、对比表、可直接运行的命令,让你彻底掌握 ES 索引。Index(索引)是具有相同结构映射(Mapping)的 Elasticsearch 文档集合,用于对文档进行逻辑分组与物理存储。

✨ 欢迎来到【Seal ^_^ 的优快云博客】!✨ 1983

[elasticsearch笔记] index create/delete/get/head/open/close/_settings

note index命名限制 仅支持小写 不能包含 , /, * , ?, ", < , > , | ,` ,空格 , 逗号, # 7.0 之前可以包含 : ,7.0 之后不可以 不能以 - , _ , + 开头 不能是 . … 不能超过255字节,注意不是字符长度,而是字节数 demo DELETE twitter PUT twitter { "settings": {...

weixin_43834662的博客 267

es-1

Index 含多 Document(同index的Document结构可不同,但相同利于搜索) ,Document 是json(就是条记录) Index 内的Document可以分组,一个分组就是一个Type,每个组(Type)内Document 相似,组间不相似 ...

kobexzf的博客 416

es报错[FORBIDDEN/12/index read-only / allow delete (api)]

【代码】es报错[FORBIDDEN/12/index read-only / allow delete (api)]

weixin_41612174的博客 743
上一篇: k8s实践(六):Pod资源管理
下一篇: 允许master节点部署pod
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值