- 博客(208)
- 收藏
- 关注
RSS订阅原创 使用 Docker Compose 轻松实现 INFINI Console 离线部署与持久化管理
本文是 INFINI Console 环境搭建系列的第四篇，专为需要在离线或内网环境中容器化部署 INFINI Console 与 Easysearch 的用户设计。
2025-11-03 20:32:56
604
原创 搜索百科（6）：Meilisearch — Rust 打造的轻量级搜索新锐
《搜索百科》专栏系列，本文主要介绍 Meilisearch，它是一个使用 Rust 语言编写的开源、轻量级搜索引擎，以其极致的性能、简单的部署和友好的开发者体验而闻名。Meilisearch 不基于 Lucene，采用全新的架构设计，特别适合中小型数据集、实时搜索和嵌入式搜索场景。
2025-11-02 23:12:43
669
原创 搜索百科（5）：Easysearch — 自主可控的国产分布式搜索引擎
《搜索百科》专栏系列，本文主要介绍 Easysearch，它是一个由极限科技（INFINI Labs）开发的轻量级、高性能搜索引擎，基于 Apache 2.0 协议的 Elasticsearch 7.10.2 版本衍生而来。Easysearch 在兼容性、性能和易用性上做了深度优化，适用于日志分析、数据检索、监控系统等多种场景，是国内搜索技术自主可控的重要选择之一。
2025-10-22 23:51:49
1072
原创 Easysearch 冷热架构实战
这篇文档主要介绍了如何使用索引生命周期策略（ILM）和冷热架构在Easysearch集群中自动管理索引的迁移。
2025-10-13 23:58:08
807
原创 Elasticsearch 备份：snapshot 镜像使用篇
本文介绍了Elasticsearch的镜像备份方案，重点分析了其增量备份机制和恢复流程。文章首先阐述了镜像备份的实现原理，通过文件校验和仅备份发生变化的数据文件，同时维护文件关系映射来保证快照完整性。随后详细说明了注册S3类型仓库的操作步骤，并以sample_data_flights索引为例演示了首次备份和增量备份的过程。在恢复部分，展示了如何通过snapshot实现全量恢复，并验证了恢复数据的准确性。整个方案通过高效的文件管理机制，既减少了不必要的备份数据量，又确保了各时间点数据的独立可恢复性。
2025-10-12 19:37:56
1063
原创 Elasticsearch 备份：方案篇
在 Elasticsearch 集群的日常运维中，制定完善的数据备份与恢复策略是保障业务连续性和数据安全的基石。在本文中，我们将探讨 ES 各类备份方案的实现逻辑，对比各自方案的优劣势，归纳它们适合的场景
2025-10-10 09:02:41
1032
原创 Easysearch 字段‘隐身‘之谜：source_reuse 与 ignore_above 的陷阱解析
前阵子，我们在Easysearch的实践中遇到了一个颇为诡异的问题：当同时开启source_reuse压缩功能时，某些字段内容竟然‘离奇失踪’——能够被搜索到，却在结果中不可见。这个看似灵异的现象背后，实则是source_reuse优化机制与ignore_above参数配置之间一个微妙的兼容性陷阱。本文将带你完整重现这个‘字段隐身’谜案的全过程。
2025-10-08 21:49:06
921
原创 如何使用 INFINI Gateway 对比 ES 索引数据
本文介绍如何使用INFINI Gateway对比ES索引数据，适用于Elasticsearch、Easysearch、Opensearch。
2025-10-07 23:37:59
330
原创 如何使用极限网关实现 Elasticsearch 集群迁移至 Easysearch
本文介绍了使用极限网关（INFINI Gateway）将Elasticsearch数据迁移到Easysearch集群的方法。通过配置网关文件指定源和目标集群信息，并设置迁移索引（如infinilabs和test1），利用网关的滚动查询功能实现批量数据传输。迁移完成后，网关自动退出。INFINI Gateway作为高性能搜索数据网关，支持限流、缓存等功能。文中提供了软件版本、迁移步骤和配置示例，并预告将介绍数据比对功能。
2025-09-25 23:29:01
393
原创 Easysearch 国产替代 Elasticsearch：8 大核心问题解读
摘要： 国产搜索分析引擎Easysearch因其性能优化和ES生态兼容性成为企业替代Elasticsearch的新选择。该产品支持PB级数据存储，写入性能提升40%-70%，内置中文分词并简化迁移流程。提供Web管理界面，降低运维门槛，支持数据备份恢复。相比ES，Easysearch更轻量高效，适合国产化需求。官方文档提供技术细节和迁移指南，帮助企业实现平滑过渡。
2025-09-24 23:51:54
1152
原创 搜索百科（4）：OpenSearch — 开源搜索的新选择
《搜索百科》专栏系列，本文主要介绍 OpenSearch，它是从 Elasticsearch 7.10.2 分支而来的开源搜索与分析套件，由 AWS 主导开发并贡献给开源社区。OpenSearch 包括 OpenSearch（搜索引擎）和 OpenSearch Dashboards（可视化界面），完全兼容 Apache 2.0 协议，旨在为用户提供一个真正开源、社区驱动的搜索与分析解决方案。
2025-09-23 23:52:31
710
原创 搜索百科（3）：Elasticsearch — 搜索界的“流量明星”
Elasticsearch：从开源明星到商业争议的搜索技术演进 本文介绍了分布式搜索引擎Elasticsearch的发展历程与技术特点。起源于2010年以色列开发者Shay Banon为妻子开发的食谱搜索工具，Elasticsearch凭借其分布式架构和易用性迅速成为行业标杆。文章详细解析了其核心概念（集群、节点、分片等）和架构设计，并提供了5分钟快速上手指南。重点探讨了Elasticsearch与AWS的协议争议——从Apache 2.0到SSPL+Elastic License再到AGPL v3的转变，
2025-09-21 20:16:53
1123
原创 搜索百科（2）：Apache Solr — 企业级搜索的开源先锋
《搜索百科》专栏介绍了Apache Solr这一基于Lucene构建的开源企业级搜索平台。Solr诞生于2004年，2006年进入Apache基金会，提供全文检索、分面搜索、分布式架构等功能，支持REST API和多格式数据交互。文章对比了Solr与Elasticsearch的差异，并通过5分钟快速搭建教程展示了Solr的核心功能。作为首个成功商业化的Lucene搜索平台，Solr至今仍是许多企业的可靠选择。专栏将持续探索搜索技术发展，下期将介绍Elasticsearch。
2025-09-19 00:20:40
717
原创 搜索百科（1）：Lucene —— 打开现代搜索世界的第一扇门
《搜索百科》专栏首篇详解Apache Lucene：搜索技术的基石 Lucene是由Doug Cutting于1997年开发的Java全文搜索引擎库，1999年首次发布，2001年加入Apache基金会。作为底层搜索库，它提供了强大的索引查询、分词、相关性评分等功能，是Elasticsearch、Solr等现代搜索引擎的核心引擎。 25年来，Lucene凭借高性能检索、可扩展分析链和稳定版本线保持活力，支持100+活跃贡献者持续更新。虽然需要Java代码开发，但易于集成，几行代码即可构建迷你搜索引擎。 作为
2025-09-18 00:05:45
1132
1
原创 ES 调优帖：Gateway 批量写入性能优化实践
摘要：Elasticsearch批量写入优化与Gateway实践 本文探讨了Elasticsearch中bulk操作优化及Gateway的补充作用。通过分析bulk操作原理，指出其通过减少网络交互提升效率的局限性，即数据分散时仍会导致分片分发开销。Gateway通过本地计算文档位置，将bulk请求按目标节点重组，避免ES集群内部二次分发，实现更均衡的负载分配。文章设计了两种测试场景（无ID日志写入和带ID搜索场景），对比直接写入ES和使用Gateway转发的性能差异，并提供了完整的测试配置和脚本。测试结果表
2025-08-10 15:33:07
1137
原创 Easysearch 集成阿里云与 Ollama Embedding API，构建端到端的语义搜索系统
Easysearch作为Elasticsearch的国产替代方案，支持多种Embedding模型服务，包括阿里云DashScope和本地Ollama服务。本文详细介绍了如何在Easysearch中集成这两种服务构建语义搜索系统，包含配置示例和流程图解析。Easysearch兼容Elasticsearch API，原生支持向量检索和语义搜索，通过灵活的插件架构可无缝对接各类符合OpenAI接口规范的Embedding模型。文章分别展示了阿里云DashScope和本地Ollama服务的具体集成步骤，包括创建In
2025-08-04 15:26:00
1064
原创 IK 字段级别词典的升级之路
本文介绍了IK分词器词库的作用原理及优化方案。IK分词器基于词典匹配，具有实现简单、速度快的特点，但面临歧义切分和未登录词挑战。原版IK仅支持单一集群词库，缺乏灵活性。INFINI lab通过改进词库加载逻辑，实现了字段级别的多词库加载，并将词库来源改为内部索引查询。测试表明，新版IK在保持默认词库功能的同时，支持自定义词库扩展，且性能无明显差异。改进后的分词器提升了中文分词场景的适用性，降低了维护成本，为专业领域应用提供了更好的支持。
2025-07-31 23:03:02
936
原创 ES 踩坑记：Set Processor 字段更新引发的 _source 污染
摘要：本文记录了在Elasticsearch中为integer字段添加keyword子字段时遇到的数据类型转换问题。最初通过update_by_query和set处理器更新存量数据，导致_source中status字段从integer变为string类型，引发应用程序报错。解决方案包括：1）使用painless脚本将字符串转回integer；2）读取docvalue而非_source字段。分析发现set处理器使用Mustache模板语法时会将值转换为字符串。建议在类似场景下优先考虑reindex或使用脚本保
2025-07-18 00:55:32
691
原创 Console 纳管 Elasticsearch 9（二）：日志监控
本文介绍了如何通过 INFINI Console 结合 Agent 实现 Elasticsearch 9 的日志监控功能。主要内容包括：1）在本地安装 Elasticsearch 9 并注册到 Console；2）安装配置 Agent，解决 Console 系统集群连接异常问题；3）将 Agent 关联到 ES 集群并调整监控模式；4）最终实现日志监控功能，可在监控报表中查看采集状态和日志数据。文章提供了详细的安装步骤和配置说明，帮助用户完成从基础安装到功能实现的完整流程。
2025-07-17 00:06:47
360
原创 Coco AI 实战（二）：摄入MongoDB 数据
本文介绍了如何将MongoDB数据迁移到Coco AI的Easysearch，实现数据检索功能。首先通过管理平台创建Connector和数据源，记录Datasource ID；接着配置Easysearch开启兼容模式；然后修改Logstash配置文件，添加文档source信息并写入coco_document索引；最后验证数据是否成功导入并能被搜索到。整个流程简单易操作，适用于需要将MongoDB数据迁移到Coco AI系统的场景。
2025-07-12 21:23:04
412
原创 一键启动：使用 start-local 脚本轻松管理 INFINI Console 与 Easysearch 本地环境
从繁琐的docker run命令，到结构化的，再到如今便捷的脚本，我们一步步简化了 INFINI 本地环境的搭建和管理过程。将所有底层的复杂性封装起来，让你能够通过一行命令就拥有一个功能齐全、数据持久的本地环境，从而更专注于应用本身的功能测试、开发和学习。这正是良好工具的价值所在——让复杂的事情变简单，让我们能更高效地创造。希望这个脚本能成为你日常工作中得力的助手！如果你有任何建议或发现问题，欢迎通过项目仓库反馈。
2025-07-11 00:16:10
964
原创 使用 Docker Compose 简化 INFINI Console 与 Easysearch 环境搭建
本文介绍了如何使用Docker Compose简化INFINI Console(1.29.6)和Easysearch(1.13.0)容器环境的部署与管理。通过创建docker-compose.yml文件，将手动启动命令转换为声明式配置，实现一键式启动、停止和持久化数据存储。文章详细说明了项目目录结构、配置文件提取方法以及docker-compose.yml的关键配置项，包括网络设置、数据卷挂载和环境变量等。使用Docker Compose后，可以更便捷地管理多容器应用，确保配置数据在重启后不会丢失，同时简化
2025-07-09 23:35:34
796
原创 搭建持久化的 INFINI Console 与 Easysearch 容器环境
摘要：本文介绍了如何通过Docker部署INFINI Console(1.29.6)和Easysearch(1.13.0)并实现数据持久化。重点解决了容器重启后配置丢失的问题，详细说明了创建本地持久化目录、提取初始配置文件、启动容器并挂载数据卷的完整步骤。通过将容器内部的关键目录映射到宿主机，确保配置、数据和日志得以保留。同时提供了验证服务和清理环境的操作指引，帮助用户实现稳定可靠的Docker化部署方案。
2025-07-08 21:28:13
1120
原创 Coco AI 实战（一）：Coco Server Linux 平台部署
Coco AI是一款开源跨平台的统一搜索和生产力工具，支持连接多种数据源（如Google Drive、Notion等）并实现智能知识管理。部署需Easysearch集群（单节点即可）和可选的大模型支持。安装步骤包括：通过Docker或官网下载Server端，修改配置文件连接Easysearch，启动服务并创建管理账户。最后需设置服务器IP地址供App连接。该工具由极限科技开发，支持私有化部署，适用于信息整合与高效检索场景。
2025-07-07 23:55:06
469
原创 Easysearch 索引备份之 Clone API
本文介绍了Easysearch数据备份的四种常用方法：Snapshot快照备份、Reindex重索引、工具备份和Clone API。Snapshot适合大规模归档，支持增量备份但需预先配置；Reindex灵活但资源消耗大，适合小规模迁移；工具备份适用于特定场景；Clone API快速复用数据但需暂停写入。文章详细对比了各方法的优缺点及适用场景，为运维人员提供了数据备份的实用指南。建议根据业务需求选择合适的备份策略，必要时组合使用多种方法。
2025-06-18 00:42:53
994
原创 使用 Logstash 迁移 MongoDB 数据到 Easysearch
本文介绍了如何使用Logstash将MongoDB数据迁移到Easysearch的方法。通过Logstash的JDBC插件连接MongoDB数据库，配置文件中指定驱动程序路径、连接信息和查询语句，并对数据进行字段重命名等处理，最终输出到Easysearch的目标索引。测试结果显示数据成功迁移，验证了该方案的可行性。文中还提供了详细的配置示例和迁移结果展示，为需要进行MongoDB到Easysearch数据迁移的用户提供了实用参考。
2025-06-15 00:43:00
576
原创 ES 调优帖：关于索引合并参数 index.merge.policy.deletePctAllowed 的取值优化
Lucene 9.5 版本调整了 index.merge.policy.deletePctAllowed 参数的默认值，从 33% 降至 20%，并允许最小值为 5%。该参数控制索引中软删除文档的最大占比，调低该值可减少存储空间，但会增加 CPU 和内存资源消耗。软删除文档占比达到阈值时，会触发索引合并以物理删除这些文档。过低的 deletePctAllowed 会导致频繁合并，影响写入性能；过高的值则会导致存储空间浪费和查询性能下降。社区根据用户反馈调整了默认值，建议在生产环境中通过测试优化该参数。此外，
2025-05-20 23:29:29
813
原创 INFINI Console 纳管 Elasticsearch 9（一）：指标监控、数据管理、DSL 语句执行
INFINI Console v1.29.2 已支持 Elasticsearch v9.0 集群管理。本文通过 Docker 快速部署 ES9 和 Console，并注册 ES9 到 Console 进行测试。测试内容包括指标监控、数据管理、DSL 语句执行等。使用 Loadgen 模拟数据写入和查询，验证了 Console 在平台概览、监控报表、数据管理和开发工具等方面的功能。测试结果表明，INFINI Console 能够有效管理 Elasticsearch 9 集群，用户可下载体验。
2025-05-14 00:09:23
495
原创 Easysearch 时序数据的基于时间范围的合并策略
Easysearch 1.12.1 版本引入了基于时间范围的合并策略 (TimeRangeMergePolicy)，专为优化时序数据的 Segment 合并设计。默认的合并策略在处理时序数据时可能面临冷热数据混合、查询性能下降等问题。TimeRangeMergePolicy 通过优先合并时间上相邻的 Segment、避免跨度过大的合并以及优先处理新数据，显著降低了合并开销，提高了资源效率和查询性能。启用该策略只需确认时间字段并更新索引设置，适用于日志、监控指标等时序数据场景。
2025-05-13 23:52:35
1055
原创 Coco AI 入驻 GitCode：打破数据孤岛，解锁智能协作新可能
这正是诞生的契机——一款重新定义企业效率的智能中枢。，深度融合大语言模型技术，实现从"人找信息"到"信息追人"的范式革命。。通过连接 Google Workspace、Notion、语雀等 200+ 数据源，接入 DeepSeek 等大模型，构建企业级智能知识图谱，让数据真正流动起来，帮助企业高效管理和利用内外部数据资源。
2025-05-04 23:55:32
1316
原创 Easysearch 移除 Data 节点注意事项
之前介绍过 Easysearch 移除 Master 节点注意事项，感兴趣的小伙伴可以点此。本篇继续介绍移除 Data 节点注意事项，帮助运维人员最大限度降低操作的影响。
2025-05-03 23:11:02
289
原创 Easysearch 索引生命周期管理实战
如果你的使用场景是对时序型数据进行分析，可能你会更重视最新的数据，并且可能会定期对老旧的数据进行一些处理，比如减少副本数、forcemerge、 删除等。Easysearch 的索引生命周期管理功能，可以自动完成此类索引的管理任务。
2025-04-30 22:36:05
972
原创 Easysearch 迁移数据之 Reindex From Remote
本次主要测试从远程集群索引数据，reindex 还有很多其他使用方式，详情请参考官方文档。Easysearch版本：1.10.0，监听 localhost:9200Elasticsearch 版本：6.8.23，监听 localhost:9201版本：1.25.1（运行 reindex 命令用）针对临时数据量不大的场景可尝试使用 reindex 迁移数据。如果数据量大了，reindex 迁移速度不是很高效，而且如果中途出现错误迁移中断了，需要重新 reindex 不方便，建议使用。
2025-04-27 00:12:37
593
原创 Easysearch 移除 Master 节点注意事项
Easysearch 采用智能化的动态投票配置管理机制，当集群节点发生增删变更时，系统会自动调整投票集合配置，以确保集群的高容错性。在选举新的 Master 节点或提交集群状态变更时，系统会根据当前集群状态，动态确定参与投票的 Master-eligible 节点集合并进行计数，确保决策过程的高效性和可靠性。
2025-04-22 23:55:59
647
原创 Easysearch Rollup 相比 OpenSearch Rollup 的优势分析
查询接口的兼容性与无感知集成自动化的索引管理与扩展能力更丰富的聚合类型与表达能力针对性更强的性能优化参数灵活高效的任务批量管理机制这些优势使 Easysearch Rollup 更加适用于复杂、多样化的时序数据处理场景，特别是在对性能、扩展性与运维效率有较高要求的系统中表现出色。如果你正在寻找一款功能全面、易于管理的 Rollup 解决方案，Easysearch 是一个值得重点考虑的选择。
2025-04-21 23:37:07
614
原创 INFINI Console 系统集群状态异常修复方案
运行INFINI Console 1.29.0 和 1.29.1 版本的用户在新初始化平台后可能会遇到一个特定问题。如果后台的系统 Easysearch/Elasticsearch 集群（存储 Console 元数据的集群，通常名为或类似名称）包含超过一个节点的场景下， INFINI Console 会错误地报告系统集群健康状态异常（例如，显示为不可用）。而对于已存在的历史集群不会发生，如果有以上情况，单纯升级并不能解决问题。可以尝试本文的解决方案。
2025-04-20 22:58:52
996
原创 Operator 开发入门系列（一）：Hello World
简单来说，Operator 是 Kubernetes 的扩展，它利用自定义资源（Custom Resources, CRs）来自动化管理应用程序。Operator 允许我们像管理 Kubernetes 内置资源一样管理复杂的应用程序，例如数据库、消息队列等。接下来，我们需要定义HelloWorld资源的结构。运行以下命令这个命令会创建一个新的 API 定义，包括和两个文件。编辑文件，修改的定义，添加name和message恭喜你完成了第一个 Operator！
2025-04-17 23:51:53
1037
原创 Easysearch 自动备份：快照生命周期管理
之前介绍了 Easysearch 如何使用 S3 进行快照备份，毕竟那是手工操作。Easysearch 还提供了，能够按照策略自动创建、删除快照，极大地方便了用户的日常管理。快照生命周期管理计划由创建计划、删除计划以及快照配置组成。快照生命周期创建的快照名称格式为。比如， 计划每 2 分钟对索引 .infini_metrics-00001 创建一个快照，并且只保留最近的 2 个快照。自动创建的快照如下图，一个 16 点 34 分创建的，另一个 16 点 36 分创建的。
2025-04-15 12:35:14
645
原创 Easysearch S3 备份实战
Easysearch 内置了 S3 插件，这意味着用户可以直接使用该功能而无需额外安装任何插件。通过这一内置支持，用户能够方便快捷地执行 Amazon S3 上的数据快照操作。这种设计不仅简化了配置流程，也提高了工作效率，使得数据备份或迁移等任务变得更加简单易行。对于需要频繁与 S3 存储服务交互的应用场景来说，这是一个非常实用且高效的功能特性。
2025-04-13 18:26:49
577
原创 如何使用 Grafana 连接 Easyearch
Grafana 是一款开源的跨平台数据可视化与监控分析工具，专为时序数据（如服务器性能指标、应用程序日志、业务数据等）设计。它通过直观的仪表盘（Dashboards）帮助用户实时监控系统状态、分析趋势，并支持告警功能，是 DevOps、运维团队和数据分析师的重要工具。目前 Grafana 已经支持使用 Elasticsearch 作为数据源，由于 Easysearch 兼容 Elasticsearch 的 API，所以 Grafana 也可使用 Easysearh 作为数据源。
2025-04-12 23:32:55
599
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人