自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 收藏
  • 关注

原创 快照备份与恢复系列(二)备份恢复实战

本地文件系统(fs)远程 HTTP/HTTPS 服务(url)分布式文件系统(HDFS)云对象存储(如 S3 等)操作类型HTTP 方法API 路径说明注册仓库PUT创建快照仓库创建快照PUT创建快照列出快照GET查看所有快照恢复快照POST恢复快照删除快照DELETE删除快照。

2025-05-15 17:37:14 904

原创 TongSearch任务调度与分发架构

TongSearch作为一个分布式架构的系统,其内部执行几乎所有操作都涉及任务的生成、调度和跨节点传递。无论是搜索查询、写入请求、索引合并,还是快照、异步批处理等系统级任务,最终都以任务(Task)的形式注册到系统调度体系中。

2025-05-08 11:15:38 926

原创 TongSearch任务管理

在企业级搜索与数据分析场景中,TongSearch  是数据流处理、日志收集、实时分析与大规模分布式存储系统中的关键基础设施。而在这些应用中,几乎所有的功能执行都可以归结为一个核心动作:任务的创建、调度、执行与终止。

2025-05-08 11:09:08 746

原创 TongSearch跨集群的工作原理

跨集群搜索(CCS)是 TongSearch 跨集群功能中最常见的应用之一,它允许用户在本地集群中查询远程集群的数据,而不需要将数据复制到本地。这种方式特别适用于需要跨数据中心查询、跨地域访问和多集群查询等场景。

2025-05-08 10:38:58 771

原创 TongSearch跨集群功能详解

TongSearch的跨集群功能是指在 多个独立 TongSearch 集群 之间建立逻辑连接,实现数据访问或数据复制的能力。其核心价值在于:实现地理分布式部署、业务隔离、容灾备份,并保障 高可用性和低延迟访问。

2025-05-08 09:20:37 716

原创 TongSearch安全基础防护

安全概述简介TongSearch 作为分布式搜索与分析引擎,应用于日志检索、全文搜索、大数据分析、指标监控等多种场景。然而,由于其天然面向 HTTP 的开放性和“开箱即用”的特性,在部署时容易忽视了安全配置,导致遭受数据泄露或勒索攻击。下面我们将对TongSearch在实际使用中常见的几类安全问题进行概述。1.未授权访问(Unauthenticated Access)TongSearch默认监听 9200 端口,且在未配置任何认证机制时,对外开放所有 REST API。即可列出所有索引数据。

2025-05-07 17:16:43 1168

原创 TongSearch安全认证配置

TongSearch 集群的安全配置主要包括以下几个方面:加密通信(TLS):所有集群间通信必须加密,以防止数据泄露或篡改。身份认证:确保只有经过认证的用户和服务可以访问集群资源。授权控制:通过角色与权限控制每个用户对数据和集群资源的访问。防止数据泄露:通过访问控制和加密保护集群中的敏感数据。

2025-05-07 17:13:48 758

原创 TongSearch管理控制台使用介绍(一)

TongSearch Console 是东方通公司开发的一款针对TongSearch(国产化替代ES的产品)的可视化管理控制台。它是由golang开发,产品非常轻量级(30Mb),启动迅速,几乎在1秒内启动功能上对比开源的Kibana,并且相对Kibana 做了更多的功能增强与体验优化(比如多集群连接、数据迁移对比、监控告警等)

2025-04-29 15:41:47 1269

原创 Tongsearch源码中ILM的核心类有哪些,它们是如何协作实现ILM原理的?

tongsearch 生命周期

2025-04-29 11:00:52 838

原创 tongsearch索引生命周期管理(ILM):原理和实践

tongsearch 生命周期

2025-04-29 11:00:02 1094

原创 Prometheus监控Tongsearch配置指南

Prometheus作为一款开源的系统监控和报警工具,广泛应用于各类分布式系统的性能监控中。对于Tongsearch集群,通过Prometheus进行监控可以帮助我们及时发现性能瓶颈,保障系统的稳定运行。

2025-04-28 15:54:02 855

原创 TongSearch监控实现方案

tongsearch 监控

2025-04-28 13:31:48 694

原创 15. 高阶-写入失败与重试机制:TongSearch如何保证请求最终成功?

完善。

2025-04-28 11:06:18 112

原创 14. 高阶-内存缓冲与刷新机制:写入延迟背后的隐形成本

完善中。

2025-04-28 11:05:47 112

原创 13. 高阶-Translog深度剖析:从写入保护到数据恢复

完善中。

2025-04-28 11:05:06 104

原创 12. 高阶-写一致性揭秘:主副本同步机制与写入保障详解

完善中。

2025-04-28 11:04:35 104

原创 11.高阶:写入性能优化全攻略:如何让TongSearch写得又快又稳?

完善中。

2025-04-28 11:04:00 107

原创 第10篇:写入一致性保证:Primary-Replica一致性机制与异常处理

完善中.....

2025-04-28 11:00:57 118

原创 第9篇:批量写入优化与并发控制:Bulk是怎么提升写入效率的?

完善中..

2025-04-28 10:59:50 117

原创 第8篇:Flush机制与Segment管理:数据是如何落盘持久化的?

完善中.....

2025-04-28 10:59:16 192

原创 第7篇:事务日志Translog:可靠写入背后的秘密武器

完善中....

2025-04-28 10:58:45 195

原创 第6篇:刷新Refresh机制:数据为什么需要Refresh?Refresh又是怎么做的?

完善中.....

2025-04-28 10:58:14 246

原创 第5篇:副本同步机制:数据是怎么同步到副本分片的?

完善中.......

2025-04-28 10:57:30 183

原创 第4篇:Lucene写入机制揭秘:TongSearch是怎么把数据存进Lucene的?

完善中.....

2025-04-28 10:56:39 175

原创 第3篇:写入主分片:IndexShard 和 Engine 是怎么处理写入的?

完善中........

2025-04-28 10:55:54 149

原创 第2篇:入口分析:一个Index请求是怎么流转到分片上的?

完善中.....

2025-04-28 10:55:20 149

原创 第1篇:写入原理总览:一篇文章看懂TongSearch数据写入的全过程

讲解TongSearch索引写入原理-分析

2025-04-28 10:51:04 653

原创 Tongsearch 节点类型、主节点选举及发现机制解析

Tongsearch 作为分布式搜索与分析引擎,其核心依赖于集群的稳定性和高效性。集群的正常运行离不开节点间的协作,而主节点(Master Node)作为集群的 “指挥官”,负责管理元数据、分片分配、节点发现等关键任务。本文将结合实际案例解析 TS 的节点类型、主节点选举机制、节点发现流程、常见问题及解决方法。

2025-04-22 16:29:09 690

原创 TongSearch快照备份与恢复系列(一)概念与原理

主节点将快照命令放到集群状态中广播下去,以此控制数据节点执行任务。数据节点执行完毕向主节点主动汇报状态。快照写入了两个层面的元数据信息:集群层(集群元数据)和索引层(索引模版/别名)。快照与集群是否健康无关,集群Red时也可以对部分索引执行快照备份。数据复制过程中会计算校验和,确保复制后数据的正确性。数据节点并发复制数据时取决于线程池的线程数的最大值,该值为min(5,(处理器数量)/2)。快照只对主分片执行,在快照备份时,所有的分片分配相关功能都会被暂停。

2025-04-11 15:36:16 1028

原创 报名倒计时!开放原子开源大赛云原生数据缓存性能挑战赛邀你参加

本次大赛由开放原子开源基金会发起,云原生数据缓存性能挑战赛由东方通支撑,应发展技术的实际需要及行业应用的实际需求设定,主要解决云原生环境下数据缓存功能与性能的优化。报名方式:个人或团队皆可报名。除了线上报名外,还需要发送报名邮件,详情可以搜索开放原子开源大赛官网,在赛题中选择云原生数据缓存性能挑战赛进行报名。首届开放原子开源大赛“云原生数据缓存性能挑战赛”报名截止3月8日,欢迎前来挑战。报名时间:2024年 1 月10日 —2024 年 3 月 8 日。三等奖:1万元 15名。二等奖:3万元 3名。

2024-02-27 18:19:13 196 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除