- 博客(8)
- 收藏
- 关注
原创 Mac中Idea写代码突然出现String标红,Import类也标红
最近在用Idea写代码的过程中,上了个厕所的功夫,Idea突然出现String标红,Import类也标红。网上找了很多方法,包括换JDK、Maven版本,都无法完全解决这个问题。因此记录一下最终的解决方案...
2025-06-08 21:07:21
357
原创 基于Snapshot的Elasticsearch数据迁移与最佳实践
本文针对90TB级Elasticsearch集群硬件升级场景,提出基于Snapshot与HDFS的迁移方案,成功在24小时停服窗口内完成数据迁移。通过部署跨集群的HDFS快照仓库实现存储解耦,首次全量快照后采用双写机制保活业务,结合二次增量快照将迁移数据压缩至1TB,最终12小时内完成增量同步。方案涵盖插件配置、分片优化、别名切换全流程,提供可复用的API命令与校验脚本,实测迁移速度稳定在50MB/s,切换时业务中断仅5分钟,为超大规模ES集群迁移提供了高兼容性、强一致性的生产级解决方案。
2025-06-02 15:37:45
1802
原创 Kafka集群内外网访问配置
一般来说,在非生产集群中,所有业务都部署在一个网段上,Kafka集群也如此。但在生产环境中,因网络流量限制或安全要求,会将面向公网的流量(外部访问)和内部通信流量(内部访问)进行隔离。此时会给集群各节点配置双网卡,分别配置内外网网络,Kafka集群会配置在内网中。如果有些上下游应用想访问内网的Kafka集群时,需要配置Kafka集群同时能够接收内外网的生产消费请求。
2025-05-05 23:23:26
1133
原创 Kafka数据迁移/同步方法探讨
Kafka数据迁移/同步是复杂但常见的操作,通常发生在跨集群场景中,一般由业务扩展、技术演进或运维优化驱动。Kafka 跨集群数据迁移通常发生在以下场景中,这些场景涉及业务、技术或运维层面的需求:。
2025-05-03 16:15:48
1392
原创 Kafka数据磁盘占满处理
如果对Kafka数据存储有一定了解,可以知道:Kafka主题数据是以分区为单位存储于磁盘中。在创建主题的时候,会往log.dir配置的磁盘按一定规则创建分区文件夹(不同副本的分区不会在同一节点上)。当往某个主题写数据时,broker会找到对应分区,然后数据根据算法(一般是Robin)写到对应分区。如果某个磁盘中的分区一直在往里写数据,但又未达到数据定期删除的时间阈值(默认7天),则很容易将磁盘写满,导致后续数据无法写入。此时该节点的broker很容易宕机,进而影响业务。
2025-05-02 16:33:45
671
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1