Elasticsearch整理之settings的设置

最新推荐文章于 2024-07-26 15:37:12 发布
原创 最新推荐文章于 2024-07-26 15:37:12 发布 · 1w 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Elasticsearch中索引的各种配置选项，包括静态设置如主分片数、压缩方式等，以及动态设置如副本数、刷新频率等，并解释了它们的功能和用途。 
//静态设置：只能在索引创建时或者在状态为 closed index（闭合的索引）上设置

index.number_of_shards //主分片数，默认为5.只能在创建索引时设置，不能修改

index.shard.check_on_startup //是否应在索引打开前检查分片是否损坏，当检查到分片损坏将禁止分片被打开
   false //默认值
   checksum //检查物理损坏
   true //检查物理和逻辑损坏，这将消耗大量内存和CPU
   fix //检查物理和逻辑损坏。有损坏的分片将被集群自动删除，这可能导致数据丢失

index.routing_partition_size //自定义路由值可以转发的目的分片数。默认为 1，只能在索引创建时设置。此值必须小于index.number_of_shards

index.codec //默认使用LZ4压缩方式存储数据，也可以设置为 best_compression，它使用 DEFLATE 方式以牺牲字段存储性能为代价来获得更高的压缩比例。


//动态设置

index.number_of_replicas //每个主分片的副本数。默认为 1。

index.auto_expand_replicas //基于可用节点的数量自动分配副本数量,默认为 false（即禁用此功能）

index.refresh_interval //执行刷新操作的频率，这使得索引的最近更改可以被搜索。默认为 1s。可以设置为 -1 以禁用刷新。

index.max_result_window //用于索引搜索的 from+size 的最大值。默认为 10000

index.max_rescore_window // 在搜索此索引中 rescore 的 window_size 的最大值

index.blocks.read_only //设置为 true 使索引和索引元数据为只读，false 为允许写入和元数据更改。

index.blocks.read // 设置为 true 可禁用对索引的读取操作

index.blocks.write //设置为 true 可禁用对索引的写入操作。

index.blocks.metadata // 设置为 true 可禁用索引元数据的读取和写入。

index.max_refresh_listeners //索引的每个分片上可用的最大刷新侦听器数

 

8年ES运维经验整理出的Elasticsearch运维手册（超实用）
yonggeit的博客
12-15 2163
k1 : 控制非线性词频率归一化（饱和），Elasticsearch中默认值为1.2。用人能看懂的话说就是词语在文档中出现的次数对于得分的重要性。例如说我觉得在某些场景，一个搜索词在文档中出现越多则越接近我希望搜索的内容，就可以将这个参数调大一点。b ：控制文档长度对于分数的惩罚力度。变量b处于分母上，它乘以刚刚讨论过的字段长度的比值，Elasticsearch中的b 默认值为0.75。如果b较大，则文档长度相对于平均长度的影响更大。
elasticsearch 7.9.3知识归纳整理（一）之 es，kibana，ik的下载安装
m0_37635053的博客
12-30 3207
es，kibana，ik的下载安装
elasticsearch 7.9.3知识归纳整理（六）之 kibana图形化操作es指南
m0_37635053的博客
01-05 2559
kibana图形化操作es指南
ElasticSearch8 - SpringBoot整合ElasticSearch
王谷雨的博客
03-25 4408
本文介绍了 SpringBoot 整合 ElasticSearch 的两种方案，但均只是简单提及，更详细的用法需要自行查看官方文档。
springboot集成elasticsearch 8.0以上版本
weixin_46501729的博客
05-27 6608
现在的elasticsearch已经更新到8.2版本，网络上的学习资料基本都是8.0以下的版本。elasticsearch官方在8.0版本以后，已经舍弃了High level rest clint Api，推荐使用java clint api。所以再参照8.0以下版本的资料进行学习已经非常不适合。依据如下图1-1： 图1-1 由于本人在学习过程中，查找网上学习资料都是8.0以下的资料，许多地方都不适用，非常痛苦。所以在此记录本人在学习过程中的知识，以便后面学习8.0以上...
ElasticSearch系列(四)--springboot使用ElasticsearchRestTemplate整合ElasticSearch,实现文本高亮检索
热门推荐
zisuu的博客
05-13 2万+
前言 ElasticsearchRestTemplate是spring-data-elasticsearch项目中的一个类，和其他spring项目中的template类似。 网上的学习资料大都是基于ElasticsearchTemplate,但是ElasticsearchTemplate在未来的版本会被废除 预备知识 - 建立索引 因为是基于springboot,那就不再使用kibana进行建立索引,而是用springboot来创建.创建索引的api: ElasticsearchRestTemplate
spring data elasticsearch 对应 elasticsearch 版本
web18296061989的博客
03-23 2186
spring data elasticsearch elasticsearch 4.0.x 7.6.* 3.2.x 6.5.0 3.1.x 6.2.2 3.0.x 5.5.0 2.1.x 2.4.0 2.0.x 2.2.0 1.3.x 1.5.2 GITHUB： https://github.com/spring-projects/spring-data-elasticsearch Spring-Data https://spring.io/projects/spring-data-elasticsearc
Elasticsearch版本和Spring Data Elasticsearch版本对应关系
万物皆字节
08-09 4600
Elasticsearch版本和Spring Data Elasticsearch版本对应关系
Elasticsearch最佳生产实践整理，推荐收藏
自律使我自由
06-09 1733
解决方案也很简单了，在一开始的报错信息中已经说的很清楚了，可以用。
ES(Elasticsearch)常用的函数有哪些？
编程开发分享者的博客
07-26 578
Elasticsearch常用函数和操作包括： 索引操作 创建索引：PUT /index_name 删除索引：DELETE /index_name 查看索引：GET /index_name 文档操作 插入文档：POST /index_name/_doc/ 获取文档：GET /index_name/_doc/document_id 更新文档：POST /index_name/_update/document_id 删除文档：DELETE /index_name/_doc/document_id 查询操作 简
ElasticSearch专题(八)-Spring Data ElasticSearch使用
专业的计算机毕业设计指南
12-04 537
1. 什么是Spring Data Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data可以极大的简化JPA的写法，可以在几乎不用写实现的情况下，实现对数据的访问和操作。除了CRUD外，还包括如分页、排序等一些常用的功能。 Spring Data的官网：http:/...
springboot 、spring-data-elasticsearch、elasticserach的版本对应关系
ratel的博客
01-17 1万+
springboot 、spring-data-elasticsearch、elasticserach的版本对应关系
SpringBoot-ElasticSearch8
weixin_45203607的博客
04-23 1万+
前沿 elasticsearch-rest-high-level-client在 7.15.0 中已弃用。 不推荐使用高级 REST 客户端，取而代之的是 Java API 客户端 。 spring-boot-starter-data-elasticsearch 也不推荐,虽然基础操作简化了很多,但是一旦使用了es高级特性,那么就如同进入了地狱 在es官网推荐我们现在使用 Elasticsearch Java API 客户端 Java API 客户端官网地址 elasticsearch Api 操作大全
Elasticsearch和Spring Data Elasticsearch版本对应
TrueNight90的博客
05-06 7559
参考地址:https://github.com/spring-projects/spring-data-elasticsearch/blob/master/src/main/asciidoc/preface.adoc
(SpringBoot集成ES高级查询)spring-boot-starter-data-elasticsearch API
落日的博客
06-19 2114
org.springframework.boot spring-boot-starter-data-elasticsearch
springboot   spring-data-elasticsearch    elasticsearch 版本对应表
qq_16071673的博客
11-06 2898
springboot spring-data-elasticsearch elasticsearch版本对应表 https://docs.spring.io/spring-data/elasticsearch/docs/current/reference/html/#repositories
【全文检索_08】Spring Data Elasticsearch
Demo_Null
02-07 646
Spring Data Elasticsearch 是 Spring Data 项目的一部分，该项目旨在为新数据存储提供熟悉且一致的基于 Spring 的编程模型，同时保留特定于存储的功能。Spring Data Elasticsearch 项目提供了与 Elasticsearch 搜索引擎的集成。
Spring Boot和Spring Data Elasticsearch和Elasticsearch 版本对应关系
web18296061989的博客
04-22 2993
版本对应关系 Spring Boot Spring Data Elasticsearch Elasticsearch 2.4.x 4.1.x 7.9.3 2.3.x 4.0.x 7.6.2 2.2.x 3.2.x 6.8.12 2.1.x 3.1.x 6.2.2 2.0.x 3.0.x 5.5.0 1.5.x 2.1.x 2.4.0 参考链接: springboot官网
springboot整合elasticsearch（8.2版本）
qq_43613152的博客
12-23 854
【代码】elasticsearch8-学习3-springboot整合elasticsearch（8.2版本）
ragflow的es_conn.py源码： class ESConnection(DocStoreConnection): def __init__(self): self.info = {} logger.info(f"Use Elasticsearch {settings.ES['hosts']} as the doc engine.") for _ in range(ATTEMPT_TIME): try: self.es = Elasticsearch( settings.ES["hosts"].split(","), basic_auth=(settings.ES["username"], settings.ES[ "password"]) if "username" in settings.ES and "password" in settings.ES else None, verify_certs=False, timeout=600 ) if self.es: self.info = self.es.info() break except Exception as e: logger.warning(f"{str(e)}. Waiting Elasticsearch {settings.ES['hosts']} to be healthy.") time.sleep(5) if not self.es.ping(): msg = f"Elasticsearch {settings.ES['hosts']} is unhealthy in 120s."
最新发布
04-25
<think>好的，我现在需要解决用户关于`AttributeError: 'ESConnection' object has no attribute 'es'`的问题，特别是在ragflow项目的es_conn.py文件中。用户之前已经询问过类似的问题，现在他们想更深入地了解源码实现细节，并且希望得到具体的解决方案。 首先，我应该回顾之前的回答，确保这次的信息不会重复，同时补充更多源码层面的分析。用户提到ragflow项目，所以需要假设ESConnection是该项目的自定义类，而不是第三方库的一部分。这意味着问题可能出在类定义或实例化的过程中。 可能的步骤包括： 1. **检查类定义**：查看es_conn.py中ESConnection类的__init__方法，确认是否正确定义了self.es属性。可能的情况是构造函数中没有初始化该属性，或者在某种条件下被跳过。 2. **依赖项初始化**：如果self.es是Elasticsearch的客户端实例，需要确认连接参数是否正确，是否在初始化时传入了必要的配置，比如host和port。配置缺失或错误可能导致实例化失败，进而self.es未被正确赋值。 3. **条件分支遗漏**：有时候在初始化过程中，某些条件分支（如异常处理或配置检查）可能导致self.es未被正确初始化。例如，如果配置检查失败，可能没有抛出错误，而是静默跳过，导致属性不存在。 4. **版本兼容性问题**：检查项目中使用的Elasticsearch客户端库（如elasticsearch-py）的版本是否与ragflow项目兼容。不同版本的API可能有变化，导致属性或方法不存在。 5. **代码审查示例**：用户可能需要具体的代码片段来对比，因此需要模拟es_conn.py中可能的实现，并指出潜在的错误点。例如，构造函数中是否缺少对self.es的赋值，或者是否在某个方法中动态创建该属性但未被调用。 6. **动态属性赋值**：有时候属性是在类的方法中动态添加的，而不是在__init__中。如果该方法未被调用，属性就不会存在。需要确认使用ESConnection时是否按照预期调用了相关方法，如connect()。 7. **异常处理与日志**：查看是否有异常被捕获但未处理，导致初始化未完成。添加日志或调试语句可以帮助定位问题。 8. **单元测试或示例用法**：提供如何正确实例化ESConnection的示例代码，确保用户遵循正确的使用流程。 在整理这些点时，需要确保引用之前的建议，如检查对象初始化、版本差异等，但这次要更具体地结合ragflow项目的源码。同时，用户可能希望看到es_conn.py的部分代码和修正建议，因此需要模拟可能的代码结构，并指出错误所在。 另外，用户可能遇到的常见错误包括拼写错误（如属性名写错）、条件分支中的逻辑错误，或者在异步初始化的情况下未正确等待连接建立。需要逐一排查这些可能性，并提供相应的解决方案。 最后，确保回答结构清晰，分点说明可能的原因和对应的解决方法，并附上代码示例和检查步骤，帮助用户逐步诊断问题所在。</think>### 针对 `AttributeError: 'ESConnection' object has no attribute 'es'` 的源码级分析与解决方案 在 **ragflow** 项目的 `es_conn.py` 文件中，`ESConnection` 类用于管理 Elasticsearch 连接。以下从源码实现角度分析错误原因及修复方法。 --- #### 原因 1：`ESConnection` 类未正确初始化 `self.es` 在 Elasticsearch 连接类中，`self.es` 应为 Elasticsearch 客户端实例。若 `__init__` 方法未正确初始化该属性，或初始化流程被中断，则访问 `self.es` 会触发此错误。 **示例代码分析**： ```python # es_conn.py 可能存在的实现片段 class ESConnection: def __init__(self, config: dict): # 可能缺少对 self.es 的赋值 if not config.get("enabled", False): return # 若配置未启用，直接返回，导致 self.es 未定义 # 正确初始化应包含以下逻辑 from elasticsearch import Elasticsearch self.es = Elasticsearch( hosts=[{"host": config["host"], "port": config["port"]}], http_auth=(config["user"], config["password"]) ) ``` **问题定位**： - 若 `config` 中缺少 `"enabled": True` 或未提供 `host`/`port` 等必要参数，初始化可能提前退出，导致 `self.es` 未被赋值。 - 初始化逻辑中存在条件分支（如 `if config.get("enabled")`），但未处理 `else` 情况，未设置默认值或抛出明确异常。 **修复方案**： ```python class ESConnection: def __init__(self, config: dict): # 强制校验必要参数 required_keys = ["host", "port", "user", "password"] for key in required_keys: if key not in config: raise ValueError(f"Missing required config key: {key}") # 无论配置是否启用，均初始化 self.es（可根据需求调整） from elasticsearch import Elasticsearch self.es = Elasticsearch( hosts=[{"host": config["host"], "port": config["port"]}], http_auth=(config["user"], config["password"]) ) # 可选：添加连接测试 if not self.es.ping(): raise ConnectionError("Failed to connect to Elasticsearch") ``` --- #### 原因 2：延迟初始化或动态属性赋值 某些设计模式中，`self.es` 可能不会在 `__init__` 中直接创建，而是通过 `connect()` 等方法动态生成。若未调用该方法直接访问 `self.es`，则会报错。 **示例代码分析**： ```python class ESConnection: def __init__(self, config: dict): self.config = config self.es = None # 初始化为 None def connect(self): from elasticsearch import Elasticsearch self.es = Elasticsearch(hosts=[self.config["host"]]) ``` **问题定位**： - 用户实例化 `ESConnection` 后未调用 `.connect()`，直接访问 `conn.es`。 **修复方案**： 1. **显式调用连接方法**： ```python conn = ESConnection(config) conn.connect() # 必须显式调用 conn.es.search(...) # 此时 self.es 已初始化 ``` 2. **自动化初始化（惰性加载）**： ```python class ESConnection: def __init__(self, config: dict): self.config = config self._es = None # 私有变量 @property def es(self): if self._es is None: self.connect() return self._es def connect(self): from elasticsearch import Elasticsearch self._es = Elasticsearch(hosts=[self.config["host"]]) ``` 通过 `@property` 装饰器实现惰性加载，首次访问 `conn.es` 时自动触发连接[^1]。 --- #### 原因 3：异步初始化未完成 若项目使用异步框架（如 `asyncio`），可能在连接未完成时访问 `self.es`。 **示例代码**： ```python import asyncio from elasticsearch import AsyncElasticsearch class ESConnection: def __init__(self, config: dict): self.config = config self.es = None async def connect(self): self.es = AsyncElasticsearch(hosts=[self.config["host"]]) await self.es.ping() # 异步连接测试 ``` **问题定位**： - 用户未等待 `connect()` 完成便访问 `self.es`。 **修复方案**： ```python async def main(): conn = ESConnection(config) await conn.connect() # 必须等待连接完成 await conn.es.search(...) ``` --- ### 验证与调试步骤 1. **检查 `ESConnection` 初始化流程**： ```python # 添加日志记录 class ESConnection: def __init__(self, config: dict): print("Initializing ESConnection with config:", config) # ... 初始化逻辑 ``` 运行后确认传入的 `config` 是否包含所有必要字段。 2. **添加类型提示与断言**： ```python def __init__(self, config: dict): assert isinstance(config, dict), "Config must be a dictionary." assert "host" in config, "Missing 'host' in config." ``` 3. **单元测试覆盖**： ```python def test_es_connection(): config = {"host": "localhost", "port": 9200, "user": "admin", "password": "pass"} conn = ESConnection(config) assert conn.es is not None assert conn.es.ping() ``` --- ### ragflow 项目源码建议 若 `es_conn.py` 源码存在以下问题，需针对性调整： 1. **缺失参数校验** → 添加强制校验逻辑。 2. **未处理异常分支** → 使用 `try-except` 捕获并记录错误。 3. **依赖未正确安装** → 确认 `elasticsearch` 库版本（如 `7.x` 与 `8.x` API 差异）。 ```bash pip install elasticsearch==7.13.4 # 指定兼容版本 ``` --- ### 总结 解决此错误的核心是确保 `ESConnection` 类在实例化后，其 `self.es` 属性被正确赋值。通过以下步骤排查： 1. 检查构造函数中 `self.es` 的初始化逻辑。 2. 确认是否需显式调用连接方法（如 `.connect()`）。 3. 验证配置参数完整性和第三方库版本兼容性。 若需进一步分析，建议提供 `es_conn.py` 的源码片段以定位具体实现问题。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值