- 博客(164)
- 收藏
- 关注
RSS订阅原创 实现极限网关（INFINI Gateway）配置动态加载
INFINI Gateway 是一个开源的面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway，可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。今天和大家分享一个 Gateway 的功能：动态加载配置（也称热更新或热加载）。这个功能可以在 Gateway 不停机的情况下更新配置并使之生效。从日志中可以看出修改后的配置文件已经加载。启动 Gateway，配置自动加载开启。
2025-03-26 23:55:01
354
原创 通过 INFINI Console 集中管理极限网关配置
之前有做过介绍实现极限网关（INFINI Gateway） 配置动态加载，这是一个 Gateway 实例的操作，直接在服务器上修改配置文件。如果有多个 Gateway 实例需要调整，登录多台主机修改配置文件就有些繁琐，有没有简便的方法呢？答案是： 当然有！INFINI Gateway 有配套的管理页面，那就是 INFINI Console。Gateway 注册到 Console 后，就可以在如下的页面上进行管理。其中 Config 可以查看到当前 Gateway 的配置。当然不止有查看功能，也可以在这里修改
2025-03-20 10:38:49
420
原创 使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数（二）
本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数，此方法同样适用于 Opensearch 和。在之前的中，我们介绍了如何使用 request_body_json_set 处理器修改不合理的查询参数，本篇将继续探讨如何使用 request_body_regex_replace 处理器修改不合理参数。试想一下有下面两种查询，如果只想修改第二个查询的 size 到 10 该如何做？如果要继续使用 request_body_json_set 处理器则必须加上条件判断。
2025-03-17 23:50:02
729
原创 使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数（一）
本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数，此方法同样适用于 Opensearch 和 INFINI Easysearch。在之前的中，我们介绍了如何阻断不合理的查询。有些不合理查询是本身就非常消耗资源，比如模糊查询、嵌套聚合等。还有些不合理查询是因为指定了不合理的参数导致非常消耗资源，比如深度分页、profile 查询等。
2025-03-16 13:23:51
857
原创 Easysearch 节点磁盘不足应对方法
为了防止索引将磁盘空间完全占满，使用磁盘水位线进行磁盘空间控制。之前有提过不同水位线的作用，以及如何使用 INFINI Console 提前进行告警，提前进行处理。本篇主要探讨提前处理的情况。
2025-03-13 23:01:35
393
原创 INFINI Labs 产品更新 | Easysearch 增加异步搜索等新特性
INFINI Labs 产品更新发布！此次更新，Easysearch 增加了新的功能和数据类型，包括 wildcard 数据类型、Point in time 搜索 API、异步搜索 API、数值和日期字段的 doc-values 搜索支持，Console 新增了日志查询功能。
2025-03-09 23:43:14
1065
原创 Easysearch 新功能： IK 字段级别词典
自定义词库的生效主要通过自定义 tokenizer 进行设置。},},其中custom_dict_enable：布尔值，默认 false，true 则可以定制词典读取路径，否则 load_default_dicts / dict_key / dict_index 均失效。load_default_dicts：布尔值，默认 true，定制的词典是否包含默认的词典库。lowcase_enable：布尔值，默认为 true，是否大小写敏感，false 则保留原来文本的大小写。
2025-03-07 23:51:00
980
原创 INFINI Labs 推出 Coco AI，携手 DeepSeek 打造下一代企业知识管理神器！
随着企业信息化程度的飞速提升，海量数据正以前所未有的速度涌现，这些数据分散在内网 Wiki、JIRA、Google Workspace、Dropbox、Notion、GitHub 等多个平台中，形成了一个个难以逾越的“信息孤岛”。员工们在跨平台检索信息时，常常陷入“大海捞针”的困境，不仅浪费了大量时间，还严重影响了工作效率。与此同时，AI 技术的飞速发展为知识管理和信息检索带来了新的曙光。
2025-03-03 23:52:13
753
原创 谈谈 ES 6.8 到 7.10 的功能变迁（6）- 其他
Elasticsearch 7.0 引入了新一代的函数分数功能，称为查询。这一新功能提供了一种更简单、更灵活的方式来为每条记录生成排名分数。查询由一组函数构成，包括算术函数和距离函数，用户可以根据需要混合和匹配这些函数，以构建任意的分数计算逻辑。这种模块化的结构使得使用更加简便，同时也为更多用户提供了这一重要功能的访问权限。通过，用户可以根据复杂的业务逻辑自定义评分，而不仅仅依赖于传统的 TF-IDF 或 BM25 算法。
2025-03-02 00:00:43
794
原创 谈谈 ES 6.8 到 7.10 的功能变迁（5）- 任务和集群管理
这一篇我们继续了解 ES 7.10 相较于 ES 6.8 调优的集群管理和任务管理的方法，主要有断联查询的主动取消、投票节点角色、异步查询和可搜索快照四个功能。
2025-02-26 22:51:58
703
原创 谈谈 ES 6.8 到 7.10 的功能变迁（4）- 聚合功能篇
一个管道聚合，对于一组有序的百分位数，移动百分位数聚合（Moving Percentile Aggregation）会在这些百分位数上滑动一个窗口，并计算累积百分位数。
2025-02-25 21:20:13
762
原创 谈谈 ES 6.8 到 7.10 的功能变迁（3）- 查询方法篇
Interval 查询，词项间距查询，可以根据匹配词项的顺序、间距和接近度对文档进行排名。主要解决的查询场景“创建一个多搜索词匹配的查询，同时保留搜索词的顺序”，比 match phrase 更加符合需求场景，查询方法使用比 span 查询更简单。ES 后续版本想用 interval 查询逐步替代 span 查询。
2025-02-24 23:59:55
766
原创 谈谈 ES 6.8 到 7.10 的功能变迁（2）- 字段类型篇
我们继续来了解一下从 ES 6.8 到 ES 7.10 新增的功能。本篇主要介绍新增的字段类型，会简要概述一下新增字段类型的使用场景和限制，提供简单的测试代码。
2025-02-23 09:16:59
1093
原创 谈谈 ES 6.8 到 7.10 的功能变迁（1）- 性能优化篇
ES 7.10 可能是现在比较常见的 ES 版本。但是对于一些相迭代比较慢的早期业务系统来说，ES 6.8 是一个名副其实的“钉子户”。借着工作内升级调研的任务东风，我整理从 ES 6.8 到 ES 7.10ELastic 重点列出的新增功能和优化内容。将分为 6 个篇幅给大家详细阐述。本系列文章主要针对Elasticsearch 传统的使用功能和基础的模块，像是集群任务的管理、搜索、聚合还有字段类型这样的功能。对于付费功能或者全新的模块，比如：CCR、机器学习和数据流，这里不去深入探讨。
2025-02-19 23:31:39
911
原创 使用 INFINI Gateway 保护 Elasticsearch 集群之阻断不合理的查询
本文将探讨如何使用 INFINI Gateway 阻止不合理的查询发送到 Elasticsearch，此方法同样适用于 Opensearch 和。在以往处理 Elasticsearch OOM（内存溢出）问题的经验中，我们发现许多案例是由于查询操作导致节点出现 OOM 的情况。经过调查，这些案例主要分为两类：一类是由于查询吞吐量超出了集群的处理能力，另一类则是在执行某些不合理的查询时触发了 OOM。通过识别并优化这些查询模式，可以有效减少 OOM 事件的发生。针对查询吞吐量过高的情况，可以参考之前的。
2025-02-19 00:20:56
623
原创 引爆知识革命！Easysearch 携手 DeepSeek 打造下一代智能问答系统
去年我们尝试过使用 Easysearch + 千问 2 大模型打造一个，今年又有更加给力的大模型出现了–DeepSeek，性能对标 OpenAI o1 正式版。而且 Easysearch 对比去年也有了不少进步，是时候让我们升级下问答系统了。
2025-02-17 00:44:13
727
原创 Easysearch 写入限速实战
有给 ES 系统导入过数据的小伙伴都知道，给一个正在执行查询的 ES 集群导入数据，可能会影响查询的响应时间。如果导入的数据量还比较大，那请将“可能”两个字去掉。这种操作通常被限定在业务低谷期执行，如果一定要立即操作，则必须非常小心控制写入速度，避免影响到业务查询。INFINI从 1.8.0 版本开始引入了写入限速功能，靠引擎自身能力对写入速度进行限制。不仅听着简单，实际用起来一点也不麻烦，我们赶紧实战一把。
2025-02-16 20:07:35
728
原创 Easysearch 证书：Windows 上创建自签名证书的 7 种方法
在 Windows 上创建自签名证书对于开发者和管理员来说是一项常见任务。自签名证书通常用于测试环境、开发、或者是没有商业证书的情况下使用。本文所述在 Windows 上创建自签名证书的 7 种方法都有详细步骤和验证方式，希望能给你带来帮助。参考资料如何使用 XCA 创建证书。
2025-02-12 10:17:50
653
原创 如何使用 DataX 连接 Easysearch
每个数据同步的操作可称为一个任务，任务的配置文件定义了数据源(reader)、数据目的(writer) ，以及任务的设置信息，如并发数、速度控制等。DataX 是阿里开源的一款离线数据同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。本篇主要介绍 DataX 如何将数据写入到 Easysearch，对于各种数据源的连接不会做深入的探讨，感兴趣的小伙伴可以访问。的 Github 仓库查看详情。
2025-02-09 16:55:18
837
原创 INFINI Labs 产品更新 - Easysearch 增强 Rollup 能力，Console 完善 TopN 指标等
INFINI Labs 产品更新发布！此次更新，Easysearch 增强 Rollup 能力，支持更多的聚合方式；Console 完善了 TopN 的指标，支持自定义视图，并内嵌视图模板；Gateway 进行了多处优化以及修复相关 Bug 等等。欢迎下载体验，探索更多可能！
2025-02-08 02:32:27
681
原创 如何使用 Filebeat 8 连接 Easysearch
Easysearch-1.9.0 必须开启第一个兼容参数，此时检测到的版本是 7.10.2。也可同时开启两个兼容性参数，此时检测到的版本是 8.9.0。Filebeat 必须关闭模板导入功能。
2025-02-07 01:00:32
702
原创 在 Ubuntu 22.04 上运行 Filebeat 7.10.2
关闭 seccomp（不推荐）添加 seccomp 配置，允许 rseq 系统调用。
2025-02-04 01:10:11
750
原创 Easysearch 集群重置 admin 用户密码
方法操作影响通过配置文件1、使用管理证书删除 .security 索引 2、修改配置文件 3、重启集群删除 .security 索引会导致所有的用户信息（主要是通过 API 创建的用户）丢失；修改配置文件，对于多节点集群来说操作较多；重启集群影响较大（特别是多节点集群）通过 API 接口1、使用管理证书直接重置密码针对单个用户操作，影响较小推荐使用 API 接口进行密码重置。
2025-02-03 01:47:06
344
原创 Easysearch 集群通过 API 进行用户密码重置
在日常使用 Easysearch 中，难免会遇到集群密码需要重置的情况（如密码遗失、安全审计要求等）。通过查看 Easysearch。
2025-02-02 02:31:16
328
原创 Easysearch Rollup 使用指南
Rollup 是一种数据聚合技术，主要用于处理时序数据。它通过将细粒度的原始数据汇总为粗粒度的数据，从而减少存储空间并提高查询效率。简单来说，Rollup 可以将大量的详细数据压缩为更小的、更具代表性的数据集，同时保留关键的业务指标。Rollup 是处理时序数据的强大工具，能够有效降低存储成本并提高查询性能。Easysearch 的 Rollup 功能不仅支持多种聚合类型，还提供了自动滚动索引、无缝查询等特性，极大地简化了时序数据的管理和分析流程。通过合理配置metricsattributes。
2025-01-15 00:10:00
630
原创 快速上手 INFINI Console 的 TopN 指标功能
TopN 是中新增的主要功能，用于快速识别排名前 N 的关键指标数据点。它通过强大的多维度指标分析能力，帮助用户更高效地进行性能优化与决策分析。随着集群节点数和索引数的不断增加，传统的监控方式已难以满足高效定位问题的需求。在过去，Console 的监控分析功能更多聚焦于单个节点或单个索引的多维指标，但当用户需要快速从所有节点或索引中找到 最忙、最慢 或 最大 的关键数据点时，往往显得非常不便。尽管 Console 提供了强大的高级分析功能，但面对大量指标时，加载速度较慢、指标过于密集，难以直观发现问题。
2025-01-14 00:04:18
331
原创 如何使用 Logstash 8 连接 Easysearch
Easysearch 助您拥有简洁、高效、易用的搜索体验。很多小伙伴都在使用 Logstash ，随着各家安全扫描、安全策略的加固，不少小伙伴已经开始使用 Logstash 8 了。Easysearch 1.9.0 已经增加了适配 Logstash8.x 的请求 header，因此使用 Easysearch 1.9.0 的小伙伴，只需打开对应的设置就可以了。使用此方法， Logstash 连接的是 INFINI Gateway ，由 INFINI Gateway “通过” Logstash 8 的检查。
2025-01-12 23:29:50
902
原创 Spring Boot 集成 Easysearch 完整指南
的很多用户都有这样的需要，之前是用的 ES，现在要迁移到 Easysearch，但是业务方使用的是 Spring Boot 集成的客户端，问是否能平滑迁移。Easysearch 是完全兼容 Spring Boot 的，完全不用修改，本指南将探讨如何将 Spring Boot 和 ES 的 high-level 客户端 与 Easysearch 进行集成，涵盖从基础设置到实现 CRUD 操作和测试的所有内容。
2025-01-05 23:07:00
1142
原创 Easysearch 可搜索快照功能，看这篇就够了
可搜索快照功能改变了我们对备份数据的查询方式。以往要查询备份数据时，要先找到备份数据所在的快照，然后在一个合适的环境中恢复快照，最后再发起请求查询数据。这个处理路径很长，而且很消耗时间。可搜索快照功能将大大简化该处理路径，节约时间。
2025-01-05 01:52:58
669
原创 Easysearch Java SDK 2.0.x 使用指南（三）
本文介绍了 Easysearch Java SDK 2.0.2 中的三种核心查询：Query String、Bool Query 和 Constant Score。Query String 擅长灵活处理用户输入的全文检索，支持布尔逻辑和通配符。Bool Query 则通过组合 must、must_not、should 和 filter 等子句，满足复杂的多条件查询需求。Constant Score 则专注于高效过滤和统一评分，适用于不需要排序的场景。想要了解更多？更详细的文档和示例代码在官网。
2025-01-03 23:53:43
919
原创 Elasticsearch VS Easysearch 性能测试
Easysearch 相比 Elasticsearch 的索引性能显著提升Easysearch 集群的吞吐性能提升了 40% - 70%，且随着分片数量的增加，性能提升效果更为显著。Easysearch 相比 Elasticsearch 的磁盘压缩效率大幅提高Easysearch 集群的磁盘压缩效率提升了 2.5 - 3 倍，并且随着数据量的增加，压缩效果愈发明显。此测试结果表明，Easysearch在日志处理场景中具有更高的性能与存储效率优势，尤其适用于大规模分片与海量数据的使用场景。
2025-01-02 22:17:39
1002
原创 如何实现一个充满科技感的官网（二）
通过这些步骤，你将能够为网站实现高性能、响应式的动态背景效果。如果你对动态背景的实现感兴趣，这篇文章将带你深入探索，揭秘如何从零打造一个兼具美感与功能性的企业官网！一直致力于为开发者和企业提供优质的开源工具，提升整个技术生态的活力。我们前期的内部设计偏向简洁，所以开始思考如何提升网站的整体设计感。中，我们初步了解了该官网的整体设计，并与大家探讨了它的视觉呈现和用户体验。具体效果，可以直接在网站上浏览，效果更真实。中，即可实现属于你自己的动态背景效果。，也在不断推动更多高质量开源产品的诞生。
2025-01-02 00:02:07
1381
2
原创 给 Postgres 写一个向量插件 - 介绍
向量数据库现在是非常热门的话题。我一直对它们是什么以及它们是如何在背后工作的感到好奇，所以我们自己来构建一个。从头开始构建一个全新的数据库并不现实，我们需要一些构建块，或者，直接使用一个真正的数据库系统。Postgres 因其扩展性而享有长期的声誉，这使它成为我们需求的完美选择，像这样的项目已经证明，将向量支持作为扩展添加到 Postgres 是可行的。我们将为 Postgres 实现向量支持，但需要实现哪些详细功能呢？
2024-12-30 15:40:13
990
原创 INFINI Console 指标采集优化
在Easysearch/ Elasticsearch / Opensearch 管理系统中，对于不同集群不同指标数据进行采集是一个常规任务。但是采集过程中不仅会对采集系统 CPU 和访问性能造成不少压力，也会对 Easysearch / Elasticsearch / Opensearch 集群造成资源消耗，从而影响集群本身的健康运行。因此，优化设计采集指标任务系统设计尤为重要。通过拆分并发采集集群指标，使得 INFINI Console 的指标采集功能更加流畅，指标输出更加完整，给用户带来更好的使用体验。
2024-12-29 23:12:15
1141
原创 从 Elastic 迁移到 Easysearch 指引
从 Elasticsearch 迁移到需要考虑多个方面，这取决于当前使用的 Elasticsearch 版本、能容忍的停机时间、应用需求等。在此背景下，我们梳理了一下通用的升级指引，方便大家进行迁移工作。
2024-12-29 01:40:49
1120
原创 Easysearch Chart Admin 密码自定义
INFINI Easysearch 是一个分布式的搜索型数据库，实现非结构化数据检索、全文检索、向量检索、地理位置信息查询、组合索引查询、多语种支持、聚合分析等。5、修改模版文件（templates/configmap.yaml），初始容器启动脚本（unitMGR）中添加集群初始化脚本（bin/initialize.sh）。4、修改模版文件（templates/statefulset.yaml），初始容器中添加环境变量配置。2、修改包文件（Chart.yaml），调整 Easysearch 版本。
2024-12-26 22:04:01
354
原创 Elasticsearch filter context 的使用原理
ES 进行信息检索的时候，boolean 查询组合条件有 must/must_not/should/filter 四个操作。其中 must 和 filter 的用途都是用于过滤必要符合的条件，但是 filter 在查询过程中不算分并且可以进行缓存，这样逻辑简单又可以加速的查询方式经常得到 Elastic 的提倡。可是，只有 filter 的条件可以被缓存么？这里的缓存是属于哪一部分？缓存有什么样的进入和淘汰机制？怎么去监控缓存的使用情况？这些问题也会伴随着对 ES 的深入使用自然而然的产生。
2024-12-26 00:01:55
1148
原创 Elasticsearch filter context 的实践案例
也可以通过简单安装一个 INFINI Console（https://docs.infinilabs.com/console/main/docs/getting-started/install/） 进行图表监控（在监控图表-索引-advance 中）因此这里的 must 查询也达到 filter 查询使用 querycache 的优势。第一个案例，我们选择一个 range date 的条件进行测试环境测试，将其中 must 条件改成 filter 条件，测试 5 次以上，观测其缓存数据。
2024-12-25 00:11:24
520
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人