Elasticsearch初始化配置

最新推荐文章于 2025-08-22 03:09:12 发布
原创 最新推荐文章于 2025-08-22 03:09:12 发布 · 390 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Elasticsearch

本文详细介绍了Elasticsearch集群中常用的各种配置参数，包括自动创建索引、发现集群方式、节点调度时间等，并提供了如何调整分片数量的具体示例。此外还涉及了查询缓存类型、缓存大小设置等内容。
部署运行你感兴趣的模型镜像 

构建ES集群环境经常用到的配置：
1.action.auto_create_index --配置是否自动创建索引（true OR false);
2.gateway.type -- (fs, none, local);
3.cluster.routing.schedule 如（50ms)， 发现新节点时间


Settings settings = settingsBuilder()
                .put("discovery.type", "zen") //发现集群方式
                .put("discovery.zen.minimum_master_nodes", 2) //最少有2个master存在
                .put("discovery.zen.ping_timeout", "200ms") //集群ping时间，太小可能会因为网络通信而导致不能发现集群
                .put("discovery.initial_state_timeout", "500ms")
                .put("gateway.type", "local")
                .put("index.number_of_shards", 1)
                .put("action.auto_create_index", false)
                .put("cluster.routing.schedule", "50ms")
                .build();


改变shards数目：

client.admin().indices().prepareUpdateSettings("test").setSettings(settingsBuilder().put("index.number_of_replicas", 2)).execute().actionGet();



使用Mongodb River时，可设置 river.mongodb: TRACE 打开日志。


ES常量设置：
index.cache.query.parser.type 查询分析缓存类型， 分为：JVM级别， resident的和NULL。
index.cache.field.max_size 设置大小，配置为soft时用。
index.cache.field.expire 可设置为null,表示永不过期。
index.cache.field.type 值集合：{resident, soft, none} 分别为常驻式、驱逐式、无缓存
index.cache.filter.type (none, weighted)
index.codec.postings_format.type (BloomFilterPostingsFormatProvider,DirectPostingsFormatProvider, MemoryPostingsFormatProvider, Lucene40PostingsFormatProvider, Pulsing40PostingsFormatProvider)
cluster.routing.operation.type
cluster.routing.operation.hash.type （DjbHashFunction， SimpleHashFunction）
index.analysis.char_filter
index.cache.id.type (SimpleIdCache)

index.merge.policy.type 
                "index.merge.policy.min_merge_size",
                "index.merge.policy.max_merge_size",
                "index.merge.policy.max_merge_docs",
                "index.merge.policy.merge_factor",
                "index.compound_format"

                "index.merge.policy.min_merge_docs",
                "index.merge.policy.max_merge_docs",
                "index.merge.policy.merge_factor",
                "index.compound_format"

                "index.merge.policy.expunge_deletes_allowed",
                "index.merge.policy.floor_segment",
                "index.merge.policy.max_merge_at_once",
                "index.merge.policy.max_merge_at_once_explicit",
                "index.merge.policy.max_merged_segment",
                "index.merge.policy.segments_per_tier",
                "index.merge.policy.reclaim_deletes_weight",
                "index.compound_format"

index.merge.scheduler.type

index.similarity.type
monitor.dump.type

cluster.routing.operation.type
index.engine.type
index.store.type (ram, memory, fs, simplefs, niofs, mmapfs)
transport.type

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

从ES的JVM配置起步思考JVM常见参数优化
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
12-03 9万+
Java 8目前仍然是许多企业中主要使用的版本之一，尤其是对于比较保守的公司。在过去，CMS (Concurrent Mark-Sweep) 垃圾回收器在Java 8中是一种常见选择，因为它在某些场景下能够提供较好的性能。然而，随着Java版本的不断更新，一些旧的特性和组件被淘汰或替代，比如CMS。Java 14中正式废弃了CMS，而新的垃圾回收器，如ZGC和G1，逐渐成为了主流选择。ZGC和G1在处理大内存堆和低停顿时间方面表现出色，适用于现代应用程序的需求。
【ElasticSearch】Es 启动流程 初始化流程 源码分析
九师兄
04-21 940
Elasticsearch的bootstrap代码写得很好的server，当中包含了大量的自检和环境检测代码，甚至用到了JNA来做OS层面的参数获取和设置。Elasticsearch的启动流程主要涉及Elasticsearch、Bootstrap和Node三个类。主要包括加载三个步骤：加载本地环境：读取命令行参数和配置文件，生成本地环境配置创建Node：创建节点实例，创建各种服务类对象，注入各种功能模块启动Node：启动各种服务，加入集群。
Elasticsearch初始
weixin_40290845的博客
09-03 895
说明：以下内容引用黑马，如有侵权请联系删除 第一章 全文检索Lucene 检索：查询（以少查多） 1.1 基本概念 数据分类 我们生活中的数据总体分为两种:结构化数据和非结构化数据。 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据:指不定长或无固定格式的数据，如邮件，word文档等磁盘上的文件。 结构化数据查询 结构化数据的查询： 数据库中数据存储有规律的，有行有列而且数据格式、数据长度都是固定的。 通过添加索引等手段，保证查询效率 针对模糊查询:如果其左侧有%，索引
1.ELK-elasticsearch-环境初始化配置
JCWang的博客
05-27 463
ELKelk1.elk-环境初始化配置JDK安装elasticstack下载安装报错处理解决方案 elk 1.elk-环境初始化配置 1.安装之前先将防火墙与selinux关闭，防止后期出问题 2.创建目录用于存放软件包 mkdir /opt/es-software/ JDK安装 3.查看现有JDK版本，并卸载 rpm -qa |grep java rpm -e --nodeps java-1.8.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64 rpm -e --nodeps
Elasticsearch---启动初始化源码学习
JY_He的博客
03-22 816
Elasticsearch整个大致流程：从Elastcisearch类的main方法入口，然后调用了BootStrap类的中的init方法，该方法会对环境和配置进行一系列的检测和初始化，其中最为主要的两个方法就是setup方法和start方法，setup的方法通过ModulesBuilder采用gucie进行不同模块的注入，start方法进行启动（keepAliveThread和node中的模块）...
Elasticsearch_初始化配置
AngusDavis的博客
09-12 3195
Java代码   构建ES集群环境经常用到的配置：   1.action.auto_create_index --配置是否自动创建索引（true OR false);   2.gateway.type -- (fs, none, local);   3.cluster.routing.schedule 如（50ms)， 发现新节点时间            Settin
Elasticsearch快速初始化数据
neweastsun的专栏
02-28 2635
设置分片和刷新间隔参数 实际应用中需要给Elasticsearch初始化数据，当数据量比较大时我们希望能够快速载入。可以给索引设置两个参数。 index.refresh_interval : 多长时间执行一次刷新操作，即使索引最近的更改在搜索中可见。缺省为1s，设置为-1则禁用刷新。 index.number_of_replicas : 每个主分片的副本数量，默认为1。可以设置为0，即没有副本。 上面两个参数设置可以更快索引，但短时间如果任何分片丢失会导致数据丢失的风险。因此，一旦初始化数据完成即刻设置回默
精选资源
db2es:DB数据初始化进入elasticsearch
05-13
【db2es: DB数据初始化进入Elasticsearch】 在大数据领域，实时数据处理和分析是至关重要的，Elasticsearch作为一款强大的全文搜索引擎，被广泛应用于日志分析、监控系统、数据仓库等领域。而DB2作为IBM公司开发的...
elasticsearch初始化SearchSourceBuilder失败问题
u011514514的专栏
08-15 655
根据服务启动的报第一次这个java.lang.NoClassDefFoundError可知，jvm本来是要加载 SearchSourceBuilder 这个类，这个类初始化时却依赖了 log4j 的 API，而 log4j 的依赖包在项目里面有缺失，导致最后类 SearchSourceBuilder 一直无法初始化。
ElasticSearch的初级安装
nanci9的博客
09-27 206
ElasticSearch简单安装使用 基本概念 ElasticSearch官网 Elasticsearch 是一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据 Elasticsearch 在 Apache Lucene 的基础上开发而成，支持Restful风格和多种语言调用 着重功能就是用来做数据的检索和分析 应用程序搜索 网站搜索 企业搜索 日志处理和分析 基础设施指标和容器监测 应用程序性能监测 地理空间数据分析和可视化
ElasticSearch 源码分析二 启动流程 初始化
郭传志的博客
11-23 342
https://blog.youkuaiyun.com/ZYC88888/article/details/82868674 启动流程，重点看bootstrap包下 核心类ElasticSearch，程序执行入口main函数 1.先创建SecurityManager 管理器，然后注册错误监听，监听错误事件 2.调用main，返回状态；如果不是OK状态，就调用exit退出 继续调用父类comm...
【Elasticsearch】初始化默认字段及分词
宣晨光
12-08 1746
PUT 请求 http://127.0.0.1:9200/my_index_name},},},},},},},},"index": {
ElastisSearch的环境搭建、数据初始化到引擎、使用命令添加映射和查询
qq_61723836的博客
08-22 1095
GET请求查询映射：http://192.168.200.129:9200/app_info_article DELETE请求删除索引及映射：http://192.168.200.129:9200/app_info_article GET请求查询所有文档：http://192.168.200.129:9200/app_info_article/_search。其中：content和title设置成了text类型，并且要参与分词，分词器是ik_smart模式。5、实际例子帮助理解。
ElasticSearch篇——初始、认识、拿下ElasticSearch，一篇文章带你入门ES，涵盖ES概念，对比Solr，ES核心概念以及常见工具head、kibana安装和使用，保姆级教程！！！
热门推荐
我热爱学习，也乐于分享。无论是科技前沿的洞见，还是生活中的小技巧，我都会在这里与你分享。我相信，知识就是力量，而分享则能让这份力量得到更好的传递。
12-09 6万+
一、学习背景曾经，如果我们在网页上查询某些数据，在输入框中输入部分内容，后台默认可能是通过SQL的模糊查询进行操作的。但是在现今的大数据时代，有几百万条数据，那么常规的模糊查询就非常的缓慢了，慢慢的演进出来了索引，但是还是达不到大数据的要求。那么，就有必要学习一款分布式全文搜索引擎。那么ElasticSearch主要功能就是搜索，如果在某个网站上需要用到搜索功能基本上都是用的ElasticSearch二、ES的起源。
ElasticSearch安装、配置详细步骤
qq_35719898的博客
06-24 4739
Windows 10支持一览表 [ https://www.elastic.co/cn/support/matrix#matrix_jvm ]注意：版本必须一样，否则运行不起来！！
Elasticsearch 初始化客户端 Java（已解决es链接偶尔断开问题）
Giggle1994的博客
11-10 2613
一.前言 目前所使用的皆基于Elasticsearch7.6.X版本，使用的客户端连接是官方推荐的Java High Level REST Client；其他连接方式，如需介绍，后面再加入。 二.SpringBoot集成 1.引入pom依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...
elasticsearch学习（一）
pscool的博客
09-18 2331
什么是elasticsearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack（ELK）？是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API什么是文档和词条？每一条数据就是一个文档对文档中的内容分词，得到的词语就是词条什么是正向索引？基于文档id创建索引。
elasticsearch 集群部署
web18334137065的博客
08-16 1384
最小化安装 Centos 7.x/Ubuntu x86_64 操作系统的虚拟机，vcpu 2，内存 4G 或更多，操作系统盘 50G，为保证效果特额外添加一块单独的数据磁盘大小为 50G 并格式化挂载到/data。
初始化elasticsearch配置并安装的python脚本
最新发布
11-25
下面是一个完整的 **Python 脚本**，用于： 1. 检查本地是否已安装 Java（Elasticsearch 依赖） 2. 下载指定版本的 Elasticsearch（以 `.tar.gz` 为例） 3. 解压并初始化基本配置（单节点模式、数据目录、日志、网络绑定等） 4. 启动 Elasticsearch 实例 5. 等待服务就绪，并通过 Python 的 `requests` 发送请求验证 6. 设置默认密码（仅适用于首次启动） > ✅ 适用场景：开发/测试环境快速部署单节点 Elasticsearch --- ### ✅ 前提要求 - 操作系统：Linux / macOS / WSL（Windows 推荐使用 WSL） - 已安装 `wget` 或 `curl` 和 `tar` - Python 3.7+，并安装了 `requests` ```bash pip install requests ``` --- ### ✅ Python 脚本：`install_and_start_elasticsearch.py` ```python #!/usr/bin/env python3 import os import sys import subprocess import time import requests from pathlib import Path # ================= 配置参数 ================= VERSION = "8.11.0" # 可修改为你需要的版本 DOWNLOAD_URL = f"https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-{VERSION}-linux-x86_64.tar.gz" ES_HOME = Path(f"./elasticsearch-{VERSION}") DATA_DIR = ES_HOME / "data" LOGS_DIR = ES_HOME / "logs" CONFIG_DIR = ES_HOME / "config" ES_TAR = f"elasticsearch-{VERSION}-linux-x86_64.tar.gz" JAVA_MIN_VERSION = 17 # 网络配置 ES_HOST = "http://localhost:9200" ES_USER = "elastic" ES_PASSWORD = "elastic_password_123" # 初始临时密码（首次设置用） print("🔍 正在准备安装和启动 Elasticsearch...") # ================= 1. 检查 Java 版本 ================= def check_java(): try: result = subprocess.run(["java", "-version"], capture_output=True, text=True) if "version" in result.stderr: version_line = [line for line in result.stderr.split('\n') if "version" in line][0] version_str = version_line.split('"')[1].split('.')[0] version = int(version_str) if version >= JAVA_MIN_VERSION: print(f"✅ Java {version} 满足要求") return True else: print(f"❌ Java 版本过低，需要至少 {JAVA_MIN_VERSION}，当前为 {version}") return False except FileNotFoundError: print("❌ 未找到 Java，请先安装 JDK {JAVA_MIN_VERSION}+") return False # ================= 2. 下载 Elasticsearch ================= def download_es(): if not os.path.exists(ES_TAR): print(f"⬇️ 正在下载 Elasticsearch {VERSION}...") try: subprocess.run(["wget", DOWNLOAD_URL], check=True) except subprocess.CalledProcessError: print("❌ 下载失败，尝试使用 curl...") try: subprocess.run(["curl", "-O", DOWNLOAD_URL], check=True) except Exception as e: print(f"❌ curl 也失败: {e}") sys.exit(1) else: print("📦 安装包已存在，跳过下载") # ================= 3. 解压 Elasticsearch ================= def extract_es(): if not ES_HOME.exists(): print("🗂️ 正在解压...") try: subprocess.run(["tar", "-xzf", ES_TAR, "--strip-components=1"], cwd=".", check=True) print("✅ 解压完成") except subprocess.CalledProcessError as e: print(f"❌ 解压失败: {e}") sys.exit(1) else: print("📂 Elasticsearch 已解压，跳过") # ================= 4. 创建数据和日志目录 ================= def setup_directories(): DATA_DIR.mkdir(parents=True, exist_ok=True) LOGS_DIR.mkdir(exist_ok=True) print(f"📁 数据目录: {DATA_DIR}") print(f"📁 日志目录: {LOGS_DIR}") # ================= 5. 配置 elasticsearch.yml ================= def configure_es(): config_file = CONFIG_DIR / "elasticsearch.yml" with open(config_file, 'w') as f: f.write(f""" # 单节点开发模式 cluster.name: my-dev-cluster node.name: node-1 network.host: 0.0.0.0 http.port: 9200 discovery.type: single-node path.data: {DATA_DIR} path.logs: {LOGS_DIR} # 安全设置 xpack.security.enabled: true xpack.security.http.ssl.enabled: false xpack.security.transport.ssl.enabled: false # CORS（可选） http.cors.enabled: true http.cors.allow-origin: "*" """) print("✅ 配置文件已生成:", config_file) # ================= 6. 启动 Elasticsearch ================= def start_elasticsearch(): bin_dir = ES_HOME / "bin" es_exec = bin_dir / "elasticsearch" env = os.environ.copy() env["ES_JAVA_OPTS"] = "-Xms1g -Xmx1g" # 控制内存使用 env["ES_PATH_CONF"] = str(CONFIG_DIR) print("🚀 正在启动 Elasticsearch，请稍候...") process = subprocess.Popen( [str(es_exec)], env=env, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, cwd=ES_HOME, universal_newlines=True ) # 实时输出日志 while True: output = process.stdout.readline() if output == '' and process.poll() is not None: break if output: print(output.strip()) # 检查是否启动成功 if "started" in output and "http" in output: print("🎉 Elasticsearch 已成功启动！") return process time.sleep(1) return process # ================= 7. 等待服务可用并设置密码 ================= def wait_and_setup(): print("⏳ 等待 Elasticsearch 可访问...") started = False for _ in range(60): # 最多等待 60 秒 try: response = requests.get(f"{ES_HOST}/_cluster/health", auth=(ES_USER, ""), timeout=5) if response.status_code == 200: print("🟢 集群健康接口已就绪") started = True break except requests.exceptions.ConnectionError: pass time.sleep(5) if not started: print("❌ Elasticsearch 启动超时或无法访问") sys.exit(1) # 设置初始密码（适用于首次启动） print("🔐 正在设置 elastic 用户密码...") passwd_cmd = [ str(ES_HOME / "bin" / "elasticsearch-reset-password"), "-u", "elastic", "-i", "-s" # 静默模式，自动设置 ] try: result = subprocess.run(passwd_cmd, input=f"{ES_PASSWORD}\n{ES_PASSWORD}\n", text=True, timeout=30) if result.returncode == 0: print(f"✅ elastic 用户密码已设置为: {ES_PASSWORD}") else: print("⚠️ 密码可能已存在，跳过设置") except subprocess.TimeoutExpired: print("⚠️ 密码设置超时，可能已配置过") # 测试登录 print("🧪 测试连接...") for _ in range(10): try: resp = requests.get(f"{ES_HOST}", auth=(ES_USER, ES_PASSWORD), timeout=5) if resp.status_code == 200: print("🎉 成功连接到 Elasticsearch!") print("💡 使用方式:") print(f" Host: {ES_HOST}") print(f" User: {ES_USER}") print(f" Password: {ES_PASSWORD}") return except: time.sleep(3) print("❌ 无法连接到 Elasticsearch") # ================= 主函数 ================= def main(): if not check_java(): sys.exit(1) download_es() extract_es() setup_directories() configure_es() # 在后台启动（非阻塞）——这里我们模拟异步启动 import threading p = None def run_es(): nonlocal p p = start_elasticsearch() thread = threading.Thread(target=run_es, daemon=True) thread.start() # 给一点时间让进程启动 time.sleep(10) # 尝试连接和设置 wait_and_setup() # 保持脚本运行，以便查看日志（实际中可改为守护进程或退出） try: while True: time.sleep(1) except KeyboardInterrupt: print("\n🛑 收到退出信号，终止 Elasticsearch...") if p: p.terminate() p.wait() if __name__ == "__main__": main() ``` --- ### ✅ 使用方法 ```bash # 1. 保存为 install_and_start_elasticsearch.py # 2. 赋予执行权限（Linux/macOS） chmod +x install_and_start_elasticsearch.py # 3. 运行 python3 install_and_start_elasticsearch.py ``` --- ### ✅ 输出示例 ``` 🔍 正在准备安装和启动 Elasticsearch... ✅ Java 17 满足要求 ⬇️ 正在下载 Elasticsearch 8.11.0... ... 🎉 Elasticsearch 已成功启动！ ⏳ 等待 Elasticsearch 可访问... 🟢 集群健康接口已就绪 🔐 正在设置 elastic 用户密码... ✅ elastic 用户密码已设置为: elastic_password_123 🎉 成功连接到 Elasticsearch! 💡 使用方式: Host: http://localhost:9200 User: elastic Password: elastic_password_123 ``` --- ### ✅ 注意事项 - 生产环境不建议使用此脚本，应使用 systemd、Docker 或 Ansible 管理。 - 默认关闭 HTTPS，仅限本地测试。 - 第一次运行后再次启动会提示密码已存在，需手动处理。 - 可将 `single-node` 改为集群发现机制以支持多节点。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值