- 博客(59)
- 收藏
- 关注
RSS订阅原创 INFINI Gateway 助力联想集团 ES 迁移升级
摘要：因安全需求将ES5集群升级至ES7，采用INFINIConsole加INFINIGateway方案，支持UI操作、索引改名、大数据分区迁移等功能。迁移过程中解决了mapping限制、特殊字符报错等问题，但跨机房数据比对因scroll拉取不全暂未解决。该方案提升了迁移效率和可靠性。（99字）
2025-12-28 20:08:35
148
原创 释放团队生产力：Coco AI 自动审查 GitLab Merge Request
摘要：本文介绍了CocoAI v0.9版本新增的GitLab Webhook处理器功能，详细演示了如何配置CocoAI进行代码评审。通过创建测试项目、配置Token和Webhook，展示了CocoAI如何自动检测代码问题（如低效的嵌套循环），并提出优化建议（改用HashMap降低时间复杂度）。测试案例证明CocoAI能有效识别性能瓶颈并提供改进方案，显著提升代码审查效率。
2025-12-28 00:01:42
403
原创 INFINI Cloud 一键升级集群
摘要：本文介绍了INFINICloud平台上1.15.6版本2节点Easysearch集群的升级操作流程。升级采用滚动方式，每次只升级1个节点，待任务执行完成后即可完成升级。升级过程简单高效，操作完成后即可结束工作。
2025-12-02 18:32:19
257
原创 INFINI Cloud 一键扩容集群
本文介绍了在INFINICloud平台上对Easysearch集群进行扩容的简单操作步骤：进入集群详情页，点击"集群扩缩容"功能，提交请求后等待任务自动调度和执行即可完成扩容。整个过程简便快捷，适合快速扩展集群容量。
2025-12-02 18:31:31
129
原创 INFINI Cloud 节点资源调整
本文介绍了在INFINICloud中对Easysearch集群进行节点资源升级的操作步骤。通过集群详情页面的"调整规格"功能，将单节点配置从1C1G升级到2C2G，并将磁盘空间扩容至15GB。操作完成后，可在变更记录中查看进度，最终在集群详情页确认新的资源规格。整个过程简单明了，实现了集群资源的无缝升级。
2025-11-30 15:22:59
233
原创 ES 服务编排利器--INFINI Cloud
INFINICloud是极限科技推出的ES服务编排产品，支持在K8S环境中发布Elasticsearch和Easysearch服务。用户可通过可视化界面选择可用区和K8S集群资源，预置多种ES架构模式及节点规格。产品提供集群监控、日志查看、控制台等核心功能，支持动态记录集群状态变化。演示示例展示了单节点Hybrid集群的创建过程，并预告了节点调整、集群扩容等高级功能。该产品利用云原生技术优势，有效提升资源利用率并简化运维流程。
2025-11-30 15:21:42
562
原创 Coco AI V0.9.0 数据权限管控体验
CocoAI v0.9.0版本新增了完善的资源权限管理功能，支持团队协作时的资源分享。资源默认仅创建者可见，但可通过分享功能授权他人访问。演示案例中，infini用户将test数据源中的1个文档和GitlabCIWebhook数据源的全部文档分享给test用户，后者成功获得相应访问权限。系统支持AI助手、MCP、模型等多种资源的权限管理，有分享按钮的资源均可进行权限设置。
2025-11-27 10:08:08
316
原创 APM（三）：监控 Python 服务链
本文介绍了如何通过Skywalking监控两个相互调用的Python Flask服务。在完成Skywalking后端服务启动后，编写了一个BService服务，该服务会调用之前创建的AService。文章详细说明了BService的代码实现、依赖安装、环境变量配置（指定Skywalking收集器地址和服务名称）以及启动过程。最后通过浏览器访问BService验证调用链路的监控效果，并检查Skywalking WebUI是否成功采集到服务间的调用信息。整个过程展示了如何使用Skywalking实现分布式服务调
2025-11-23 21:52:19
341
原创 APM（二）：监控 Python 服务
本文介绍了如何将Python Flask服务接入Skywalking监控系统。首先确保Skywalking和Easysearch后端服务已启动，然后创建一个简单的Flask服务监听8081端口。通过安装Flask和Skywalking Python Agent依赖，并设置环境变量SW_AGENT_COLLECTOR_BACKEND_SERVICES和SW_AGENT_NAME来配置Agent连接信息。最后使用sw-python命令启动服务，即可在Skywalking WebUI上查看服务调用信息。整个过程展
2025-11-23 21:50:32
310
原创 Easysearch 再进化，自带 UI 界面
Easysearch 1.15.0版本新增了内置UI界面，为用户提供更流畅的使用体验。新UI可通过https://localhost:9200/_ui/访问，包含集群概览、索引管理、分片管理、模板创建等实用功能。特别亮点包括索引限流设置、热点线程可视化、生命周期策略和备份管理等。相比之前版本，新UI大大提升了操作便捷性，让用户从"毛坯房"搬进了"精装房"。开发团队欢迎用户反馈意见，持续优化产品体验。
2025-10-29 17:27:46
259
原创 如何使用 INFINI Gateway 增量迁移 ES 数据
本文介绍了如何通过INFINIGateway实现条件查询下的增量数据迁移。在原有迁移配置基础上，通过在pipeline中增加query_dsl字段指定时间范围条件，即可仅迁移符合要求的文档数据。演示案例显示，297,482条全量数据中成功迁移了符合时间条件的21条记录。该方法特别适合带有时间字段的数据增量迁移场景，使数据迁移过程更加灵活可控。更多功能可参考官方文档。
2025-10-29 09:45:46
350
原创 如何使用证书认证连接 Easysearch
本文介绍了无需密码、通过证书连接Easysearch的方法。演示使用Python Elasticsearch 7.10.1客户端连接Easysearch 1.12.0服务端，利用自动生成的admin证书进行认证查询。从Elasticsearch迁移到Easysearch可做到零开发投入，完全兼容现有客户端和API。文中给出了Python代码示例，展示如何创建SSL上下文并执行查询操作。需要先安装对应版本的elasticsearch客户端。该方法适用于希望简化认证流程的开发人员。
2025-10-29 09:41:51
527
原创 SeaTunnel 同步 KingBase 数据到 Easysearch
摘要：为解决数据库在高频事务与复杂分析间的性能矛盾，本文介绍利用SeaTunnel工具将KingBase数据库数据同步至Easysearch的方案。通过配置JDBC源和Easysearch目标，实现事务处理与查询分析的分离，保持KingBase写入性能的同时，利用Easysearch提升查询效率。文章详细说明了Docker环境下SeaTunnel的安装配置步骤，并验证了数据成功同步至Easysearch。该方案有效平衡了数据库的写入和查询需求，为企业数据处理提供了优化路径。
2025-09-30 18:23:34
312
原创 SeaTunnel 迁移 MySQL 数据到 Easysearch 之实时同步（Streaming）
本文介绍了使用SeaTunnel Streaming模式实现MySQL到Easysearch的实时数据同步。主要内容包括：1）MySQL用户权限配置；2）启用Binlog日志设置；3）编写Streaming配置文件；4）通过Docker运行同步任务。测试结果表明，该方案能实时同步MySQL的增删改操作到Easysearch，包括初始数据加载和后续变更追踪。相比Batch模式，Streaming模式更适合需要持续同步最新数据的场景。
2025-09-21 11:19:30
566
原创 SeaTunnel 迁移 MySQL 数据到 Easysearch 之批量导入（Batch）
SeaTunnel是一款开源的高性能数据集成平台，支持批量(Batch)和实时(Streaming)两种数据同步模式。本文通过Docker方式测试了其批量模式，成功将MySQL数据迁移到Easysearch。测试使用配置文件定义数据源和目标，SeaTunnel运行后自动退出并输出统计信息。Easysearch验证显示数据同步成功。文章提到实时同步模式将在后续探讨，适合需要实时数据同步的场景。
2025-09-21 11:17:47
1364
原创 如何使用 Vector 连接 Easysearch
摘要： Vector是Datadog推出的高性能可观测性数据处理工具，基于Rust开发，适用于日志、指标和追踪数据的统一收集、转换与路由。相比Logstash，Vector在吞吐量（10-15万事件/秒）、资源占用（内存低至100-150MB/万事件/秒）及可靠性（内置至少一次传输保证）方面优势显著。其核心特性包括：支持VRL语言实现复杂数据处理、多种部署模式（Agent/Sidecar/Aggregator）适配云原生环境，以及统一处理多类可观测数据的能力。典型场景包括日志聚合（替代Fluentd/Log
2025-08-29 17:27:13
947
原创 如何使用 Graylog 连接 Easysearch
本文介绍了使用Docker Compose部署Graylog日志管理平台的完整流程。配置包含三个核心服务：MongoDB数据库、Easysearch搜索引擎和Graylog主服务，通过volume持久化数据。文章详细说明了Graylog的启动参数配置，包括管理员密码设置、Elasticsearch连接等关键参数。部署完成后，演示了如何通过Web控制台配置数据摄入流程：创建INPUT绑定5555端口、建立INDEXSET存储索引，并设置STREAMS过滤规则（仅接收以"message"结尾
2025-08-29 17:25:39
255
原创 APM 系列（一）：Skywalking 与 Easyearch 集成
摘要：本文介绍了SkyWalking 10.2.0与Easysearch 1.14.1的HTTPS集成方案。SkyWalking作为云原生可观测性平台，支持追踪、指标、日志等多维数据。文章重点说明：1）将Easysearch CA证书导入Java密钥库；2）配置application.yml存储参数，包括HTTPS协议、证书路径等；3）注意事项：域名解析、启动顺序。集成后可通过8080端口访问SkyWalking UI，Easysearch自动创建相关索引。该方案为后续应用性能监控(APM)奠定了基础。
2025-08-26 15:06:59
1230
原创 LDAP 认证系列（四）：Gateway LDAP 认证
本文介绍了INFINIGateway与LDAP、Easysearch集成的三种场景：1）网关代理启用安全认证的ES集群；2）网关代理已集成LDAP的安全认证ES集群，可直接使用LDAP用户访问；3）网关为未认证ES集群提供LDAP认证保护。重点说明了第二种情况下的配置方法，包括变量设置和LDAP用户组与ES角色的映射关系。当ES关闭认证时，可通过网关配置LDAP认证实现安全加固。文章还提供了相关配置示例和用户验证方法。
2025-08-24 10:28:49
455
原创 LDAP 认证系列（三）：Console LDAP 认证
本文介绍了如何配置INFINIConsole与LDAP服务集成，实现基于角色的访问控制。通过修改console.yml文件，将LDAP用户yangf映射为管理员角色(Administrator)，拥有删除索引等权限；将readonly用户映射为只读角色(ReadonlyUI和DATA)，限制其只能查看菜单内容。配置完成后重启服务即可生效，实现了不同用户登录时获得相应权限的功能。
2025-08-24 10:27:02
403
原创 Easysearch 数据迁移之数据比对
本文介绍了通过INFINIGateway进行索引数据比对的详细方法。首先需要准备网关配置文件，修改集群地址、认证信息和待比对的索引名称（示例中使用infinilabs和test1两个索引）。配置完成后执行比对命令，系统会对比两个集群中索引文档内容是否一致。文中示例显示两个索引数据完全一致，并建议读者自行尝试不一致情况下的比对结果。该方法操作简单，只需准备配置和执行比对两步即可完成数据校验。
2025-08-13 20:59:43
514
原创 Easysearch 数据迁移之 INFINI Gateway
本文介绍了使用INFINIGateway工具将Elasticsearch数据迁移到Easysearch集群的方法。具体步骤包括：1）选定源集群索引；2）在目标集群创建相同mapping和setting的索引；3）配置INFINIGateway的连接参数，包括源集群和目标集群的地址、认证信息；4）修改pipeline配置指定迁移的索引名称；5）运行INFINIGateway完成数据迁移。该方法支持批量迁移多个索引，操作简单高效，为Elasticsearch到Easysearch的数据迁移提供了新的解决方案。
2025-08-13 20:31:03
1128
原创 Easysearch 冷热架构实战
摘要：本文详细介绍了如何在Easyearch集群中实现冷热架构，通过节点属性配置将索引分片分配到指定节点。文章演示了如何定义热节点和冷节点，并通过索引设置控制分片分配位置。同时结合索引生命周期策略（ILM），实现索引在不同生命周期阶段自动在热冷节点间迁移。文中提供了具体操作步骤，包括创建生命周期策略、设置索引模板和观测索引迁移效果，为集群资源优化提供实用解决方案。
2025-08-09 17:18:41
606
原创 LDAP 认证系列（二）：Easysearch LDAP 认证
Easysearch通过LDAP认证实现企业级安全搜索解决方案。该方案支持复用现有LDAP身份体系，提供双重认证机制（基础内部认证+LDAP认证），并通过角色映射实现细粒度权限控制。配置过程包括：1）设置安全配置文件，启用LDAP认证和授权；2）通过API映射LDAP组到搜索角色；3）生产环境建议启用SSL/TLS并定期审计。修改权限需删除.security索引并重启服务生效，既保障了数据安全又简化了用户管理，满足企业对搜索服务高效安全的需求。
2025-06-20 11:00:02
742
原创 LDAP 认证系列（一）：LDAP Server 安装
LDAP是企业数字身份管理的核心技术，通过集中存储用户信息、组织架构和权限，实现高效统一的身份认证管理。文章介绍了使用Docker快速部署OpenLDAP服务器和管理端的方法，包括创建测试用户组和查询验证。LDAP已成为现代IT架构中身份与访问管理（IAM）的重要支柱，适用于从本地系统到云环境的各种场景。
2025-06-20 10:57:34
854
原创 私有知识库 Coco AI 实战（八）：数据脱敏
本文介绍了使用Easysearch实现数据脱敏的方法，通过角色权限配置，让不同权限用户看到不同信息。文章以HR简历搜索为例，展示了如何为低权限用户隐藏候选人姓名等敏感信息。具体步骤包括：1）创建模拟简历数据；2）设置脱敏角色并使用正则表达式定义脱敏规则；3）创建新用户并赋予脱敏角色；4）修改CocoServer配置使用新用户。最终实现高权限用户查看原始数据，低权限用户查看脱敏后数据的效果。
2025-05-25 13:31:33
472
原创 私有知识库 Coco AI 实战（七）：摄入本地 PDF 文件
本文介绍了一个Python程序，用于自动处理本地PDF文件并上传至CocoServer。程序主要功能包括：1.读取PDF文件内容并分页处理；2.自动检查并创建必要的connector和datasource；3.通过API将PDF内容发送至CocoServer；4.支持批量处理指定目录下的所有PDF文件。用户需要修改程序中的token、服务器地址和PDF目录路径等配置参数。该方案可实现本地PDF内容的便捷管理和检索，通过CocoServer的API接口实现数据上传。
2025-05-25 10:08:55
749
原创 私有知识库 Coco AI 实战（六）：打造 ES Mapping 小助手
开发同学可能经常和字段类型打交道，数据类型本来就不少，新版本可能还有新的数据类型。更重要的是新的字段类型可能会提升某个场景的性能，不知道的话可就亏大发了。所以我们继续打造一个 ES Mapping 小助手。
2025-04-30 10:49:16
476
原创 私有知识库 Coco AI 实战（五）：打造 ES 新特性查询助手
有了的经验，再打造个 ES 新特性查询助手就非常简单了。新的小助手使用的数据还是 ES 官方文档，模型设置也可沿用上次小助手的设置。
2025-04-30 10:48:06
579
原创 如何防止 ES 被 Linux OOM Killer 杀掉
当 Linux 系统内存不足时，内核会找出一个进程 kill 掉它释放内存，旨在保障整个系统不至于崩溃。如果 ES 按照最佳实践去实施部署，会保留一半的内存，不至于发生此类事情。但事情总有例外，有的朋友可能 ES 和其他的程序部署在一起，当主机内存不足时，那么 ES 很有可能会被内核 Kill 掉。
2025-04-29 18:37:05
773
原创 私有知识库 Coco AI 实战（四）：打造 ES 索引参数小助手
经过前面的，我们已经能够快速、准确的检索 ES 官方文档的内容了，但是还是要自己去阅读。既然 Coco AI 能与大模型交互，我们何不直接用大模型来阅读文档，回答我们的问题？
2025-04-29 18:34:31
1477
原创 私有知识库 Coco AI 实战（三）：摄入 Elasticsearch 官方文档
相信经常使用 Elasticsearch 的小伙伴，难免要到 ES 官网查找资料，文档内容多难以查找不说，还有很多个版本，加上各种生态工具如 Filebeat、Logstash 头就更大了。今天我来介绍如何使用 Coco AI 快速搜索 Elasticsearch 官方文档。在之前的文章中，我们介绍了如何将 MongoDB 数据摄入到Coco AI 中实现检索，感兴趣的小伙伴可以点查看。在之前的文章中，我们介绍过通过爬虫程序爬取 Blog 数据写入 Easysearch 集群的方法，详情请戳。
2025-04-23 23:32:43
826
原创 私有知识库 Coco AI 实战（二）：摄入 MongoDB 数据
在之前的文章中，我们介绍过如何使用，既然 Coco AI 后台数据存储也使用 Easysearch，我们能否直接把 MongoDB 的数据迁移到 Coco AI 的 Easysearch，使用 Coco AI 对数据进行检索呢？
2025-04-23 14:14:04
639
原创 使用 Logstash 迁移 MongoDB 数据到 Easysearch
大家好！在前面的文章中，我们已经详细介绍了如何通过和工具实现 MySQL 数据向 Easysearch 的迁移。如果您正在使用 MongoDB 作为数据存储，并希望将其数据迁移到 Easysearch 中，这篇指南或许能为您提供一些帮助。为了实现 MongoDB 与 Easysearch 之间的数据迁移，Logstash 依然是一个非常成熟稳定的工具选择。在接下来的内容中，我们将介绍如何利用 Logstash 实现 MongoDB 到 Easysearch 的数据迁移。
2025-04-21 23:16:01
480
原创 私有知识库 Coco AI 实战（一）：Linux 平台部署
是一个完全开源、跨平台的统一搜索和生产力工具，能够连接各种数据源，包括应用程序、文件、Google Drive、Notion、Yuque、Hugo 等，帮助用户快速智能地访问他们的信息。通过集成 DeepSeek 等大型模型，Coco AI 实现了智能个人知识管理，并支持私有部署。
2025-03-31 23:17:55
536
原创 Easysearch 索引备份之 Clone API
在日常运维 Easysearch 的过程中，备份数据是一项重要工作。为了确保数据安全和业务连续性，我们可能需要了解并掌握多种备份索引的方法，以便应对不同的场景。我们先梳理下常用的备份方法有哪些。
2025-03-31 22:44:31
1272
原创 Easysearch 迁移数据之 Reindex From Remote
本次主要测试从远程集群索引数据，reindex 还有很多其他使用方式，详情请参考官方文档。Easysearch 版本：1.10.0，监听 localhost:9200Elasticsearch 版本：6.8.23，监听 localhost:9201INFINI Console 版本：1.25.1（运行 reindex 命令用）针对临时数据量不大的场景可尝试使用 reindex 迁移数据。
2025-03-31 22:43:00
696
原创 Easysearch 如何短暂维护 Data 节点
之前介绍过如何移除 Data 节点，那么如果只是短暂停止一个 Data 节点进行维护，之后再次加入集群，是否也需要按照移除节点的步骤进行操作呢？我们先梳理下核心原理。
2025-03-31 22:37:37
329
原创 Easysearch 移除 Data 节点注意事项
之前介绍过 Easysearch 移除 Master 节点注意事项，感兴趣的小伙伴可以点此。本篇继续介绍移除 Data 节点注意事项，帮助运维人员最大限度降低操作的影响。
2025-03-28 15:39:29
384
原创 Easysearch 索引生命周期管理实战
如果你的使用场景是对时序型数据进行分析，可能你会更重视最新的数据，并且可能会定期对老旧的数据进行一些处理，比如减少副本数、forcemerge、 删除等。Easysearch 的索引生命周期管理功能，可以自动完成此类索引的管理任务。
2025-03-18 23:07:12
794
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人