自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 Kafka常用命令备忘录

Kafka常用命令备忘录,记录了Kafka常用命令及用法,便于命令遗忘时查找

2025-07-29 10:22:14 565

原创 Mac中Idea写代码突然出现String标红,Import类也标红

最近在用Idea写代码的过程中,上了个厕所的功夫,Idea突然出现String标红,Import类也标红。网上找了很多方法,包括换JDK、Maven版本,都无法完全解决这个问题。因此记录一下最终的解决方案...

2025-06-08 21:07:21 357

原创 HBase大Region产生原因探讨

讨论HBase大Region产生原因以及解决方案。

2025-06-06 23:19:02 401

原创 基于Snapshot的Elasticsearch数据迁移与最佳实践

本文针对90TB级Elasticsearch集群硬件升级场景,提出基于Snapshot与HDFS的迁移方案,成功在24小时停服窗口内完成数据迁移。通过部署跨集群的HDFS快照仓库实现存储解耦,首次全量快照后采用双写机制保活业务,结合二次增量快照将迁移数据压缩至1TB,最终12小时内完成增量同步。方案涵盖插件配置、分片优化、别名切换全流程,提供可复用的API命令与校验脚本,实测迁移速度稳定在50MB/s,切换时业务中断仅5分钟,为超大规模ES集群迁移提供了高兼容性、强一致性的生产级解决方案。

2025-06-02 15:37:45 1802

原创 Kafka集群内外网访问配置

一般来说,在非生产集群中,所有业务都部署在一个网段上,Kafka集群也如此。但在生产环境中,因网络流量限制或安全要求,会将面向公网的流量(外部访问)和内部通信流量(内部访问)进行隔离。此时会给集群各节点配置双网卡,分别配置内外网网络,Kafka集群会配置在内网中。如果有些上下游应用想访问内网的Kafka集群时,需要配置Kafka集群同时能够接收内外网的生产消费请求。

2025-05-05 23:23:26 1133

原创 Kafka数据迁移/同步方法探讨

Kafka数据迁移/同步是复杂但常见的操作,通常发生在跨集群场景中,一般由业务扩展、技术演进或运维优化驱动。Kafka 跨集群数据迁移通常发生在以下场景中,这些场景涉及业务、技术或运维层面的需求:​。

2025-05-03 16:15:48 1392

原创 Kafka数据磁盘占满处理

如果对Kafka数据存储有一定了解,可以知道:Kafka主题数据是以分区为单位存储于磁盘中。在创建主题的时候,会往log.dir配置的磁盘按一定规则创建分区文件夹(不同副本的分区不会在同一节点上)。当往某个主题写数据时,broker会找到对应分区,然后数据根据算法(一般是Robin)写到对应分区。如果某个磁盘中的分区一直在往里写数据,但又未达到数据定期删除的时间阈值(默认7天),则很容易将磁盘写满,导致后续数据无法写入。此时该节点的broker很容易宕机,进而影响业务。

2025-05-02 16:33:45 671

原创 Kafka发送消息超过限制

Kafka发送消息超过限制问题分析,分别从producer和broker讨论问题。

2025-04-30 14:19:13 654 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除