- 博客(225)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【SQL优化】：使用【覆盖索引】优化亿级交易流水表统计报表
本文针对亿级交易流水表的渠道统计性能问题，提出了一套从SQL优化到架构升级的渐进式解决方案。通过限制查询时间范围（不超过1年）和渠道数量（单次查询≤100个）、设计覆盖索引（包含过滤条件+分组字段+统计字段）等优化手段，将查询耗时从"小时级"降至"秒级"。后续计划采用时间分区策略，按季度划分数据，进一步减少扫描范围。优化效果显示：未优化时全表扫描耗时小时级，当前方案处理1亿数据达秒级，分区后处理5000万数据可降至500ms级。该方案适用于金融、支付等领域的海量数据统
2025-09-23 15:36:16
864
原创 【数据迁移】：MySQL 环境下【大表定义变更】一致性保障与数据迁移优化方案
MySQL 表结构一致性保障与数据迁移优化方案 核心要点 MySQL与Oracle关键差异： 列顺序敏感性、索引机制（InnoDB聚簇索引）、分区语法不同 DDL操作锁表风险，需采用"建新表迁移"策略 表结构一致性保障： 使用mysqldump导出生产表结构作为基准 通过mysqldiff工具进行环境间结构对比 创建新表时需显式指定存储引擎、字符集和分区策略 数据迁移优化： 采用INSERT...SELECT批量操作 迁移前终止目标表写入连接 按分区策略分批处理提高效率 业务无感知切换：
2025-09-23 15:06:27
701
原创 【数据迁移】：oracle 大数据上线失败复盘：【大表定义变更】不一致导致生产数据灌入失败及解决方案
摘要： 本文复盘了一次因测试/预发与生产环境表结构不一致导致的大数据上线失败案例。问题表现为生产环境WDP_COM_WARN_INFO表数据灌入失败，经排查发现生产环境存在列顺序错乱和索引缺失问题。根因是开发修改测试环境后未同步生产环境。解决方案选择"反向同步"策略，通过创建与生产一致的新表、迁移数据、切换表名的方式，规避了直接修改生产表的风险。实施过程详细展示了创建与生产一致的表结构、索引和分区的SQL操作，确保环境一致性同时保障生产稳定性。(150字)
2025-09-23 14:58:44
682
原创 NIFI 入门之GetFile/PutFile组件使用
本文详细介绍了通过Docker部署Apache NiFi 1.27并实现文件传输功能的完整流程。主要内容包括：1) 使用Docker命令部署NiFi并挂载本地目录；2) 配置GetFile组件从指定目录读取文件；3) 配置PutFile组件将文件写入目标目录；4) 连接组件创建完整处理流程；5) 常见问题排查方法。重点强调目录挂载、容器内路径配置和权限设置等关键步骤，为初学者提供了NiFi入门实践的完整指南。
2025-09-09 16:53:55
596
1
原创 Docker 快速部署单节点 NiFi 1.27
本文介绍了使用Docker快速部署Apache NiFi单节点的方法。通过拉取官方1.27版本镜像，执行简单的docker run命令即可启动容器，其中包含端口映射、数据持久化等关键配置说明。文中详细说明了如何修改默认端口、挂载数据卷实现持久化存储，以及如何自定义配置文件。最后提供了验证部署的方法，包括访问Web界面和查看容器日志。该部署方案简单高效，适合快速搭建NiFi开发测试环境。
2025-09-09 15:35:45
686
原创 【mysql参数调优】： sync_binlog （二）
MySQL 的 sync_binlog 参数控制 binlog 刷盘时机，平衡数据安全性与性能。参数值为 0 时依赖 OS 刷盘（性能最高但风险最大）；1 为每次提交都刷盘（最安全但性能损耗大）；N≥2 为每 N 次事务刷盘（平衡两者）。建议核心业务设为 1 配合 redo log 确保数据一致性，非核心业务可设为 0 或 N 提升性能但需接受数据丢失风险。配置需结合业务需求、硬件条件综合考量，支持动态调整无需重启。
2025-08-13 00:00:00
783
原创 【mysql参数调优】：innodb_buffer_pool_size和innodb_buffer_pool_instances （三）
InnoDB缓冲池参数对数据库性能至关重要。innodb_buffer_pool_size决定缓存总量，建议设为物理内存的50%-70%（专用服务器），直接影响读写性能；innodb_buffer_pool_instances控制缓冲池分区数量，建议每个实例≥1GB且数量4-8个（与CPU核心数匹配），缓解高并发锁竞争。两者需协同配置：总大小提升缓存命中率，实例数优化并发效率。监控缓存命中率（应>99%）和锁等待情况，针对读多或写多场景动态调整，实现性能最优。
2025-08-11 14:20:00
1085
原创 【mysql参数调优】： innodb_flush_log_at_trx_commit（一）
摘要：MySQL中redo log刷盘时机通过innodb_flush_log_at_trx_commit参数调整，支持0/1/2三种模式：0（每秒刷盘，性能最高但安全性最低）、1（实时刷盘，最安全但性能差）、2（写入OS缓存，平衡性能与安全）。调整时需权衡业务需求，核心交易建议设为1，非核心场景可选2或0，并配合sync_binlog参数优化。注意事项包括硬件影响（如SSD可缓解性能损耗）、事务大小差异及崩溃恢复风险。最终需根据业务容忍的数据丢失窗口和性能需求综合选择。（148字）
2025-08-11 14:12:41
849
原创 Spring Bean 的生命周期
摘要：Spring框架中Bean的生命周期涵盖创建、初始化、使用到销毁的全过程，包含11个关键步骤：实例化→属性注入→Aware接口回调→前置处理→初始化逻辑（@PostConstruct/InitializingBean）→后置处理→就绪使用→销毁回调。核心扩展点包括BeanPostProcessor进行AOP代理生成，以及通过@PreDestroy/DisposableBean实现资源释放。生命周期可简化为创建、初始化、使用、销毁四个阶段，Spring通过该机制确保Bean的正确初始化和资源回收。（14
2025-08-08 09:40:48
1013
原创 网关 + MDC 过滤器方案，5分钟集成 日志 traceid
本文介绍了基于网关和MDC过滤器的全链路日志追踪方案。方案通过网关层统一生成TraceId，并通过过滤器实现跨服务透传，确保全链路日志可追踪。主要实现包括：1）网关生成唯一TraceId并注入请求头；2）下游服务通过Servlet过滤器接收TraceId并存入MDC；3）配置日志模板输出TraceId；4）通过RestTemplate/Feign拦截器实现跨服务调用时的TraceId透传。该方案有效解决了分布式系统日志追踪难题，具有实现简单、侵入性低的优点。
2025-08-01 00:00:00
255
原创 微服务快速集成 TraceId
本文介绍了三种快速集成TraceId的微服务解决方案：1）Spring Cloud Sleuth（5分钟零侵入集成，适合Spring Cloud体系）；2）网关+MDC过滤器（10分钟轻侵入，支持自定义Header传递）；3）SkyWalking Agent（1分钟全功能接入，提供可视化链路追踪）。各方案特点鲜明，可根据团队技术栈和需求选择，都能在10分钟内完成集成，显著提升分布式系统问题排查效率。
2025-07-31 15:36:08
487
原创 Undo、Redo、Binlog的相爱相杀
MySQL日志系统核心机制 InnoDB引擎通过Undo Log（记录旧值）和Redo Log（记录新值）实现事务的原子性和持久性。Undo Log用于事务回滚和MVCC多版本控制，Redo Log采用WAL机制确保崩溃恢复时重做已提交事务。Binlog作为Server层逻辑日志，支持主从复制和时点恢复，提供STATEMENT/ROW/MIXED三种记录模式。事务提交遵循"Undo→Redo prepare→Binlog→Redo commit"流程，崩溃恢复时Redo重做结合Undo回
2025-07-31 00:00:00
1022
原创 Spring Boot 自动配置：从 2.x 到 3.x 的进化之路
本文深入解析了Spring Boot自动配置原理，通过源码和图示对比2.x与3.x版本的差异。核心原理是AutoConfigurationImportSelector读取候选配置类列表，2.x通过spring.factories键值对文件加载，3.x改用AutoConfiguration.imports纯文本列表格式，提升了启动速度并减少冲突。文章详细介绍了条件注解过滤机制，并给出兼容两版的自定义Starter方案。3.x版本在保持条件注解不变的情况下，优化了配置加载方式，使自动配置更高效。
2025-07-30 00:00:00
419
原创 反欺诈系统：Oracle 到 ES 迁移实战
在企业级反欺诈风控系统的实战中，数据查询效率曾是棘手难题。我们的反欺诈系统需支撑日均300万+交易，原交易流水存在Oracle库，数据量大、查询慢，严重影响风险拦截与合规追溯。作为技术经理，主导流水数据迁移至Elasticsearch，成了破局关键。
2025-07-29 00:00:00
498
原创 MySQL 锁机制 15 连问 · 面试速答版
本文系统梳理了MySQL锁机制的核心知识点，采用锁层级脑图（表锁/行锁）、15个高频问答、3个记忆口诀和面试彩蛋四部分展开。重点解析了行锁与表锁区别、意向锁作用、乐观锁实现、记录锁/间隙锁/临键锁特性，以及RR隔离级别如何通过MVCC和临键锁防止幻读。同时提供了避免死锁的实用建议（顺序加锁、批量操作）和典型问题解决方案（如无索引更新导致全表锁的应对措施）。摘要整合了锁机制的核心概念和实战技巧，适合快速掌握MySQL锁相关的面试要点。
2025-07-28 11:20:48
377
原创 基于xxl-job的分片实现分库分表后的扫表
摘要：XXL-JOB结合分片机制可实现高效的分库分表扫表任务。通过ShardingUtil获取分片参数，将总分片数设为分库数×分表数，每个分片处理指定库表。关键点包括：动态切换数据源、SQL表名动态拼接、分片数匹配，并可通过增量扫描、分布式锁等优化。该方案适用于数据统计、迁移等场景，需注意并发控制和错误重试。（149字）
2025-07-25 00:00:00
538
原创 Kafka有序消息实现与优化：从理论到实战
摘要： Kafka有序消息的实现需平衡性能与顺序性。单分区方案简单但性能受限，多分区方案通过业务ID哈希路由可提升吞吐量，但需解决数据分布不均和扩容失序问题。进阶优化包括哈希槽机制、一致性哈希和分区动态调整策略。跨topic有序需额外协调组件，消息重试需保证顺序性。方案选型应根据业务场景（全局/业务内有序、并发量等）选择合适策略，并建立监控机制处理异常情况。核心在于理解Kafka分区有序特性并设计合理的路由与消费机制。
2025-07-24 13:51:12
887
原创 Nacos 注册中心高频面试题及解析
Nacos 高频面试题解析 Nacos 是阿里巴巴开源的动态服务发现和配置管理平台，核心功能包括服务注册发现、动态配置管理和服务元数据管理。相比 Eureka 和 Zookeeper，Nacos 优势在于同时支持 AP/CP 模式、一站式解决方案和丰富的健康检查机制。 服务注册采用客户端心跳机制，发现通过定时拉取+服务端推送实现。Nacos 提供临时实例（AP 模式）和永久实例（CP 模式）两种类型，分别适用于不同场景。集群数据一致性通过 Raft 协议保证。 实践中需注意健康检查延迟优化、集群部署配置（至
2025-07-23 00:00:00
1298
原创 Nacos 探活机制深度解析：临时 / 永久实例差异及与 Sentinel 的熔断协作
本文深入探讨了Nacos服务注册中心的健康检查机制，对比分析了临时实例（客户端心跳）和永久实例（服务端主动探测）两种模式的原理及配置优化方法。针对生产环境中服务崩溃后的请求失败问题，提出了三个维度的优化方案：缩短探活阈值、实现客户端主动下线机制、优化缓存刷新机制。同时，建议结合Sentinel熔断降级功能，构建"Nacos探活+Sentinel熔断"的双层防护体系，通过配置熔断规则和整合Feign调用，实现对异常实例的快速隔离。该方案能有效减少服务不可用时间，提升微服务架构的整体可靠性。
2025-07-22 00:00:00
1359
原创 反欺诈业务 Elasticsearch 分页与导出问题分析及解决方案
反欺诈业务中Elasticsearch分页与导出问题解决方案 问题背景：反欺诈业务中多表关联查询时，分页正常但批量导出失败，主要由于Elasticsearch默认10000条查询限制导致关联数据缺失。 根本原因： 导出时超量查询触发ES限制 客户信息批量查询仅返回部分数据 关联字段（如年龄）计算失败 解决方案： 分批查询：将大数据集拆分为10000条/批多次查询 Scroll API：利用ES滚动查询机制获取完整数据集 代码实现：提供Java示例，包含客户ID分批处理、年龄计算逻辑 效果：成功突破ES默认限
2025-07-21 00:00:00
711
原创 JIT优化技术（方法内联、逃逸分析、常量折叠）
JIT（Just-In-Time）是JVM的关键优化技术，通过动态编译热点代码提升Java程序性能。它将高频执行的字节码（如循环、常用方法）编译为机器码缓存，避免重复解释执行。核心优化策略包括：方法内联（合并高频调用）、逃逸分析（优化对象内存分配）和常量折叠（预计算常量表达式）。JIT智能监测热点代码，采用分层编译和自适应优化，在保持Java跨平台特性的同时大幅提升运行效率。这种"动态加速"机制让Java程序既能快速启动又能高效执行，是平衡灵活性与性能的完美方案。
2025-07-20 12:13:52
513
原创 用“打扫公寓楼”的故事轻松理解 G1 的工作原理！
本文用“打扫公寓楼”的生动比喻解析了Java的G1垃圾回收器工作原理。G1将堆内存划分为多个区域（Region），像清洁工一样分五步工作：初标找根→并发标全→记变标→选房清→整理房，优先清理垃圾最多的区域。相比CMS，G1采用标记-复制算法避免内存碎片，支持大堆内存和停顿时间控制，适合对延迟敏感的服务端应用。文章通过口诀记忆法帮助读者轻松掌握G1的核心优势和工作流程，是理解现代Java垃圾回收机制的实用指南。
2025-07-20 12:02:36
298
原创 一文彻底搞懂 CMS 垃圾回收器：低延迟神器，用“打扫房间”轻松记忆！
CMS垃圾回收器是Java老年代的低延迟回收器，通过并发执行减少应用停顿时间。其工作流程分为四步：初始标记（STW找起点）、并发标记（全扫描）、重新标记（STW补遗漏）和并发清除（清垃圾）。优点包括低延迟和并发执行，适合Web服务等场景；缺点是会产生内存碎片且在大堆内存下表现不佳。JDK14后已移除CMS，但其设计思想影响了新一代回收器。通过“打扫房间”类比可轻松记忆其核心流程。
2025-07-20 11:56:13
327
原创 Redis 大 Key 与热 Key：定义、发现与解决方案
Redis 大 Key 与热 Key 问题解析 大 Key 指占用内存过大（如字符串>10KB或集合元素>1万）的键，会导致内存集中、操作阻塞；热 Key 是高频访问的键，引发节点过载。检测方法包括使用MEMORY USAGE、redis-cli --bigkeys等工具扫描大 Key，通过监控、埋点识别热 Key。解决方案：大 Key通过拆分数据结构、渐进删除优化；热 Key采用本地缓存、Key分片、读写分离等手段分散压力。核心在于均衡资源分配，提前发现并合理处理。
2025-07-20 08:00:00
998
原创 我做的基础服务项目，是如何实现 API 安全与限流的（短信、邮件、文件上传、钉钉通知）
如何在分布式环境下实现限流？答案是 Redis + Lua 脚本，保证原子性，避免并发问题。如何防止非法调用？API Key + Redis 校验机制，拦截器统一处理，简单有效。如何支持多项目对接？给每个项目分配独立的 API Key，绑定租户信息，限流、日志、权限都按租户隔离。
2025-07-19 14:37:41
1036
原创 我是怎么设计一个防重复提交机制的（库存出库场景）
本文介绍了一种基于Token的防重复提交机制，适用于库存出库等关键业务场景。通过UUID生成唯一Token并存储在Redis中（设置60秒过期），确保每个请求的唯一性。前端提交时携带Token，后端验证后立即删除Token，防止重复提交。该方案具有简单易用、安全可靠、支持高并发等优势，能有效解决重复提交导致的数据不一致问题，适用于订单、支付等多种业务场景。文中还提供了Spring Boot实现代码和前端配合示例，并给出了异常处理建议。
2025-07-19 10:40:14
390
原创 我是怎么设计一个库存扣减与一致性保障方案的（Redis + MQ + 定时任务）
本文提出了一种高并发库存系统的解决方案，结合Redis、消息队列和定时任务实现高性能与数据一致性。核心流程：1）使用Redis缓存库存并加分布式锁处理并发扣减；2）通过MQ异步更新数据库库存；3）定时任务校验Redis与数据库库存一致性。该方案具有高性能（Redis快速响应）、高可用（MQ解耦）和最终一致性（定时校验）三大优势，适用于电商秒杀等高并发库存场景。
2025-07-19 10:39:57
499
原创 我是怎么设计一个订单号生成策略的（库存系统）
本文介绍了一种自研库存系统中的订单号生成策略，结合业务标识、时间戳和Redis自增ID实现多重保障。订单号采用[业务码][机器码][用户码][日期][自增ID]结构设计，通过Redis的INCR命令确保唯一性，并支持多节点部署。Java实现方案包含业务类型识别、用户ID处理、日期生成和Redis自增ID获取等完整流程，同时提供Redis Key清理、分段自增等优化方案。该策略具有结构清晰、唯一性强、可读性高等特点，已在库存系统中稳定运行，适用于入库/出库等多种订单场景，为同类系统开发提供了参考价值。
2025-07-19 10:12:25
893
原创 Redis 主从与集群面试高频问题
Redis 主从复制与集群机制是面试重点考察内容。主从复制通过主节点同步数据到从节点，实现读写分离和数据备份，需注意数据延迟问题；集群则采用哈希槽分片存储，支持横向扩容和自动故障转移。两者关键区别在于：主从需要哨兵实现高可用，而集群内置故障检测机制；主从适合读写分离场景，集群适用于大规模分布式存储。此外，还需掌握热Key处理、扩容迁移等实战问题，理解Redis高可用的实现原理。
2025-07-19 08:00:00
890
原创 Redis 常用数据结构面试高频问题
Redis常用数据结构面试高频问题摘要：Redis提供String、Hash、List、Set、ZSet等核心数据结构，各有独特实现和适用场景。String适合简单键值存储；Hash适合对象属性存储；List支持双向操作，用作队列；Set支持集合运算；ZSet通过分数排序，适合排行榜。底层实现上，小数据采用ziplist节省空间，大数据转为hashtable或跳表提高效率。典型应用包括String做分布式锁、ZSet实现延迟队列、HyperLogLog统计UV等。面试需掌握数据结构原理、转换阈值及场景选择依
2025-07-18 08:00:00
511
原创 LeetCode经典题解：141、判断链表是否有环
链表是由节点通过next指针连接而成的数据结构。如果链表的末尾节点指向了链表中的某个中间节点（形成一个循环），则称这个链表存在环。↑ ↓←-----←节点4的next指针指向了节点2，形成一个环。判断链表环的「龟兔赛跑法」是面试必背技巧，记住口诀和场景，代码可以直接默写。这个算法不仅高效，还能延伸到其他链表问题（如找环入口、链表中点等）。面试前用示例链表手动模拟一次，确保万无一失！
2025-07-17 00:00:00
725
原创 生产问题排查-数据库连接池耗尽
摘要：本文探讨MySQL数据库连接池爆满问题的解决方案，涵盖理论知识、实战案例和面试技巧。理论部分解析连接池原理、MySQL连接管理及监控方法；实战案例展示了连接池配置不当和慢查询导致问题的排查过程与优化方案；面试技巧强调问题表述的逻辑性、实践经验的分享和总结反思。通过系统学习，读者将掌握处理连接池问题的综合能力，提升技术面试表现。
2025-07-16 00:00:00
510
原创 LeetCode经典题解：206、两数之和（Two Sum）
摘要：反转链表是算法面试高频题，本文提供3步口诀+1个场景的简易记忆法。将链表想象成手拉手队伍，用"存下一个、指向前一个、双指针前移"三步实现反转。迭代法只需3个指针，时间复杂度O(n)，空间复杂度O(1)，面试时通过"手拉手转身"场景和口诀能快速推导代码逻辑，避免死记硬背。记住初始条件、循环条件和三步操作即可轻松应对。
2025-07-15 00:00:00
377
原创 redis面试高频问题汇总（一）
缓存问题的核心是**“平衡性能、一致性、可用性”**，需结合业务场景（如读写频率、数据一致性要求）选择策略。面试中需不仅能描述概念，还要能分析问题根源，并给出具体解决方案（如代码思路、工具选型）。在后端、分布式系统面试中，缓存相关问题频繁出现，核心围绕缓存的原理、问题解决、性能优化等。1. 如何设计一个高可用的缓存系统？1. 设计一个秒杀系统的缓存方案？2. 缓存一致性问题如何解决？1. Redis为什么快？二、缓存问题与解决方案类。缓存面试高频问题汇总。三、Redis专项类。
2025-07-14 20:16:38
344
原创 LeetCode经典题解：21、合并两个有序链表
本文介绍了合并两个有序链表的经典解法——"哨兵+双指针"迭代法。通过生动的队伍合并比喻，将算法分解为：1)哨兵节点固定起点；2)双指针比较当前节点大小；3)将较小节点接入新链表；4)移动相应指针。该方法时间复杂度O(n+m)，空间复杂度O(1)，逻辑直观高效。文章还提供了记忆口诀"比大小，接尾巴，指针移"和代码实现，帮助读者快速掌握这一面试高频考点。
2025-07-14 00:00:00
341
原创 LeetCode经典题解：3、无重复字符的最长子串
本文介绍了LeetCode高频题"无重复字符的最长子串"的Java解法。通过滑动窗口和哈希表技术实现O(n)时间复杂度，并用"抓娃娃机"场景形象化解释算法逻辑。文章提供了完整代码实现、优化建议（用数组替代哈希表）和示例演示，帮助读者掌握核心口诀："右指针扫字符，哈希表记位置，重复就把左指针右移，随时算最长距离"。这种把算法与生活场景结合的记忆方法，让复杂问题变得易于理解和应用。
2025-07-13 00:00:00
873
原创 LeetCode经典题解：128、最长连续序列
本文探讨了如何高效求解“最长连续序列”问题。首先分析了暴力法（O(n³)）和排序法（O(n log n)）的不足，随后提出基于哈希表的最优解法（O(n)）。其核心在于：1）利用哈希表快速查询元素；2）仅从序列起点（即x-1不存在的x）开始向后扩展计数，避免重复计算。文章通过“寻宝游戏”的类比形象化记忆这一逻辑：哈希表作为地图标记数字，只从“特殊宝藏”（序列起点）开始挖掘。这种方法不仅满足时间复杂度要求，还能灵活处理变种问题。
2025-07-12 00:00:00
1069
2
原创 LeetCode经典题解：49、字母异位词分组
字母异位词分组”是哈希表应用的经典题目，解法思路清晰但细节易混。本文用“场景化记忆法”帮你吃透解法，从代码逻辑到记忆技巧一网打尽。
2025-07-11 00:00:00
557
原创 LeetCode经典题解：1、两数之和（Two Sum）
《LeetCode两数之和高效解法解析》摘要：本文详解经典算法题"两数之和"的最优解法，通过哈希表实现O(n)时间复杂度。核心思路是遍历数组时，用哈希表记录已访问数字及其下标，同时查询当前数字的补数（target-nums[i]）是否存在表中。相比暴力解法O(n²)的耗时，哈希表以空间换时间显著提升效率。文章还提供"侦探破案"场景化记忆技巧，帮助理解算法逻辑，并建议拓展练习有序数组、二叉搜索树等变种题目。掌握这种"空间换时间"的优化思维，比单纯记忆
2025-07-10 00:00:00
729
原创 深入剖析 F5、DNS、LVS、Nginx、Tomcat：Java 架构师的流量分发指南 （二）
本文深入解析Java高并发架构中的流量分发体系，重点剖析F5、DNS、LVS、Nginx和Tomcat五大核心组件的角色定位与协作机制。通过对比表格展示各组件性能指标与适用场景，揭示从DNS调度、F5防护、LVS转发到Nginx处理和Tomcat执行的完整流量接力流程。文章提供架构设计决策框架，包括不同规模系统的组件组合方案，并给出Nginx配置优化、Tomcat线程池调整等实战技巧。最后强调通过分层协作和全链路监控构建高可用Java架构，为架构师提供流量分发系统的整体优化思路。
2025-07-09 22:30:00
900
ifc 文件模型
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人