- 博客(24)
- 收藏
- 关注
RSS订阅原创 十七、Redis 核心原理与架构详解
本文系统剖析了Redis的核心架构与关键技术。Redis作为开源内存数据库，支持10万+ QPS，延迟低至亚毫秒级。文章从四个维度展开： 核心架构：采用单线程模型+epoll多路复用，通过RESP协议通信，包含键空间字典和过期字典的双字典设计。 数据结构：采用逻辑类型与物理编码分离的两层架构，自动选择最优编码（如SDS字符串、跳表、压缩列表等），实现高性能操作。 性能优化：纯内存操作、高效数据结构、IO多路复用、协议简单、Pipeline支持等五大机制协同保障性能。 演进发展：Redis 6.0引入多线程网
2026-07-31 12:03:35
520
原创 十六、HBase 核心原理与架构详解
HBase 核心架构与存储机制 HBase 是基于 HDFS 的分布式 NoSQL 数据库，提供毫秒级随机读写能力。其架构采用 Master-Slave 模式： HMaster 负责元数据管理和集群协调 RegionServer 处理实际数据读写，管理多个 Region ZooKeeper 维护集群状态和元数据定位 数据模型采用多维映射表，以 RowKey 为核心，支持动态列和稀疏存储。存储引擎基于 LSM 树，通过 MemStore 内存缓存和 HFile 持久化文件实现高效写入，利用 WAL 保证数据一
2026-07-31 12:01:17
396
原创 十五、Flink 核心原理与架构详解
Flink 是一个开源的分布式流处理框架，被设计用于在有界和无界数据流上进行有状态的计算。与传统的微批处理（Micro-Batch）引擎不同，Flink 从底层就将流处理作为一等公民——批处理仅仅是有界流的特例。这种"流批一体"的设计哲学使 Flink 能够在低延迟、高吞吐和精确一次（Exactly-Once）语义之间取得卓越的平衡。Flink 的核心能力包括：有状态计算、事件时间处理、轻量级容错、高吞吐低延迟、以及灵活的窗口和状态管理。目前已被阿里巴巴、Uber、Netflix、LinkedIn 等公
2026-07-25 15:38:17
363
原创 十四、 数据仓库设计
数据仓库设计是数仓建设的核心环节，本文系统介绍了数据仓库的分层规划和构建流程。数据仓库通常采用四层架构：ODS层存储原始数据，DWD层进行数据清洗和维度退化，DWS层实现公共汇总，ADS层面向具体业务应用。构建流程包含数据调研、明确数据域、构建业务总线矩阵、定义统计指标和维度模型设计五个关键步骤。其中，维度建模采用Kimball方法论，通过事实表+维度表的星型或雪花模型组织数据，支持业务分析需求。合理的分层设计和规范的建模流程是确保数据仓库质量的基础。
2026-07-25 15:29:55
322
原创 三、MySQL存储过程、函数、变量与流程控制
MySQL存储过程与函数详解 摘要：本文系统介绍了MySQL存储过程与函数的核心知识点。首先阐述了变量体系，包括系统变量、用户变量和局部变量的作用域及使用场景。重点讲解了存储过程的创建、调用与管理，区分了IN/OUT/INOUT参数类型，并提供了订单总金额查询的实践案例。同时详细说明了函数的定义、调用方法及其与存储过程的区别。最后介绍了流程控制语句（IF和CASE）的具体应用。全文通过示例代码和对比表格，帮助开发者掌握数据库编程的核心技能，提升业务逻辑处理效率。
2026-07-18 11:23:42
517
原创 十三、DataX原理与常见应用场景
DataX是阿里巴巴开源的异构数据源离线同步工具，采用框架+插件架构设计，支持MySQL、Oracle、HDFS等30+数据源的批量数据同步。其核心思想是通过中间抽象层将网状链路简化为星型结构，降低复杂度。DataX具有多线程并发、流量控制、容错机制等特性，适用于数仓导入、异构迁移、数据归档等场景。用户只需编写JSON配置文件即可实现数据同步，无需编码。安装部署需JDK1.8和Python2.7环境，通过解压安装包并验证即可使用。典型应用包括将业务数据库批量同步到HDFS/Hive作为数仓原始数据层，或实现
2026-07-18 11:19:58
340
原创 十二、电商数仓业务数据采集平台
电商系统业务数据采集方案解析 电商业务流程围绕用户购物旅程展开，涉及商品管理、订单交易、支付物流等子系统。核心业务概念包括SPU（商品聚合单位）和SKU（具体规格商品），区分平台属性和销售属性。数据表结构以订单、用户、商品、活动、优惠券五大核心表为中心，按业务域分层管理。采用CDC方案通过MySQL Binlog实时捕获变更，使用Maxwell工具实现轻量级数据采集，支持全量（Bootstrap）和增量同步。该方案为电商数仓建设提供稳定实时数据源，支撑下游分层建模与分析需求。
2026-07-15 11:00:27
964
原创 十一、Maxwell 原理与应用
本文介绍了Maxwell，一个由Zendesk开发的MySQL变更数据抓取（CDC）工具。Maxwell通过伪装为MySQL从库，实时监控数据库变更（INSERT/UPDATE/DELETE），并将数据以JSON格式发送到Kafka等流处理平台。文章详细解析了其核心原理，包括MySQL二进制日志（Binlog）和主从复制机制，以及Maxwell的断点续传、Bootstrap全量同步、数据过滤和分区策略等关键特性。此外，还提供了从安装配置到启停操作的完整部署指南，包括MySQL的Binlog设置、Maxwel
2026-07-15 10:57:23
233
原创 十、电商数仓用户行为采集平台
本文介绍了用户行为数据采集平台的设计与实现方案。主要内容包括：1）数据仓库中用户行为数据的分类（页面浏览、动作记录、曝光记录等）和日志格式；2）采用代码埋点、可视化埋点和全埋点三种方式收集数据；3）设计Flume+Kafka+HDFS的数据采集链路，重点说明TailDirSource支持断点续传和KafkaChannel提高传输效率的优势；4）通过拦截器实现数据格式校验。该方案具有高可靠性和实时性，能够满足大规模用户行为数据采集需求，为后续数据分析提供高质量数据源。
2026-07-10 10:11:23
408
原创 九、Flume 原理与常见应用场景
Apache Flume是一个分布式、高可靠、高可用的日志采集与传输系统，主要用于将海量日志数据从多个源头收集并聚合到集中存储。其核心架构基于Agent（包含Source、Channel、Sink三大组件），通过事务机制保证数据可靠性。Flume支持多种数据流拓扑（串联、多路复用、聚合等），适用于日志收集、数据聚合、实时管道等场景。安装部署简单，通过配置文件定义数据采集流程，能够与HDFS、Kafka等大数据组件无缝集成。Flume具有高扩展性和灵活性，是大数据生态中重要的数据采集工具。
2026-07-10 10:02:49
254
原创 八、Kafka 原理与常见应用场景
Kafka是一个分布式流处理平台，具备发布订阅、持久化存储和实时流处理三大核心能力。其架构基于Broker节点、Topic分区和副本机制，通过顺序写入、零拷贝、页缓存等技术实现高吞吐低延迟。支持消费者组并行消费和消息广播，但需注意Rebalance问题。典型应用场景包括日志收集、系统解耦削峰和实时数据管道，适用于高并发数据传输和处理需求。
2026-07-03 15:32:42
516
原创 七、ZooKeeper 原理与常见应用场景
ZooKeeper是Apache开源的分布式协调服务，主要用于解决分布式系统中的一致性问题。其核心特性包括高可用、强一致性和高性能，采用树形结构的ZNode数据模型，支持四种节点类型（持久/临时节点及其顺序变体）。ZooKeeper集群通过主从架构和ZAB协议实现数据一致性，包含Leader、Follower和Observer三种角色。Watch机制提供事件驱动通知功能，适用于分布式锁、配置中心、服务注册发现等场景。部署时建议使用奇数台服务器（如3/5/7台），通过ZAB协议保证数据一致性，其中Leader
2026-07-03 15:28:10
891
原创 三、Claude Code 的七个扩展点
Claude Code智能开发平台扩展机制详解 Claude Code通过七种扩展机制构建智能开发平台，形成分层协作的生态系统： CLAUDE.md：项目"宪法"，自动加载的常驻规范 Skills：按需调用的技能卡，支持参考型/操作型两种模式 Subagents：隔离执行的专项工作者，实现深度分析不污染主会话 Agent Teams：独立的多智能体协作网络 MCP：连接外部系统的接口插头 Hooks：事件驱动的自动化触发器 Plugins：可打包分发的扩展安装包 这些机制在Agent Loop的不同阶段插入
2026-06-29 15:26:22
205
原创 二、详解 MySQL 索引结构
本文深入剖析MySQL选择B+树作为索引结构的原因，揭示其相比二叉树、平衡树和B树的优势。B+树通过非叶子节点仅存储键值、叶子节点双向链表连接等特性，实现高度仅3层即可支撑2000万数据的存储能力。详细讲解InnoDB的聚簇索引与二级索引核心区别：聚簇索引叶子节点存储完整数据，物理有序；二级索引则只存储索引列和主键值，需要回表操作。同时解析回表、覆盖索引和索引下推三大关键机制，覆盖索引通过避免回表提升性能，索引下推则在存储引擎层提前过滤数据。通过数据
2026-06-29 15:19:45
551
原创 二、Claude Code 核心配置详解：settings.json 与三层记忆体系
本文介绍了Claude Code的两大核心配置机制，帮助用户从基础使用提升到高效开发体验。第一部分详细解析了settings.json权限配置文件，包括三级配置层级、核心权限控制、模型选择策略及上下文压缩等关键参数设置。第二部分重点讲解三层记忆体系，特别是CLAUDE.md文件的作用机制，从全局级到文件夹级的分层配置策略，让AI能持续记忆项目背景和技术规范。通过合理配置这些功能，可以显著解决AI"失忆"、操作越界等问题，使Claude Code真正成为得力的编程助手。文章提供了具体配置示例和安全建议，适合开
2026-06-25 11:20:30
856
原创 六、Hadoop 3.3.6 分布式集群安装部署
Hadoop 3.3.6 集群搭建指南 本文详细介绍了在3台CentOS 7虚拟机上部署Hadoop 3.3.6集群的全流程，内容涵盖： 环境准备：创建hadoop用户、关闭防火墙、配置静态IP和主机名、设置SSH免密登录 基础软件安装：JDK 8安装与集群分发 Hadoop部署： 集群规划（NameNode/ResourceManager角色分配） 软件安装与环境变量配置 核心配置文件修改（hdfs-site.xml、yarn-site.xml等） 实用工具： 集群同步脚本xsync 批量执行命令脚本xc
2026-06-23 22:40:18
477
原创 五、Flink 实时数仓架构全剖析
Flink实时数仓项目架构解析 本文详细介绍了Flink实时数仓项目的完整架构设计，包含四大核心层级： 数据采集层：业务数据通过MySQL+Maxwell，行为数据通过Flume实现双通道采集 消息缓冲层：Kafka作为数据枢纽，按数仓分层设计不同Topic实现数据分流 流处理层：Flink实现精确一次性消费，包括DWD明细处理、DWS聚合计算和DIM维度管理 数据应用层：Doris作为统一查询入口，支撑可视化报表和大屏应用 架构特点：采用HBase存储维度数据，Redis作为缓存层，通过Flink Asy
2026-06-23 11:00:07
402
原创 一、7 种 SQL JOIN 详解与实现
本文系统讲解了SQL中7种JOIN操作的分类、语法和用途。首先介绍了JOIN的两大分类维度（连接类型和方向），通过员工表和部门表的数据示例，详细解析了每种JOIN的特点： INNER JOIN：仅返回匹配行，最常用 LEFT/RIGHT JOIN：保留左/右表所有行，不匹配侧补NULL FULL OUTER JOIN：保留两表所有行（MySQL需用UNION模拟） LEFT ANTI JOIN：返回左表无匹配的行（差集） LEFT SEMI JOIN：返回左表匹配行（不返回右表字段） CROSS JOIN：
2026-06-22 00:13:55
378
1
原创 四、离线数仓 vs 实时数仓：两条路，两种节奏
离线数仓与实时数仓是数据管道的两种节奏，而非对立系统。离线数仓侧重批处理（小时/天级延迟），适合T+1报表和复盘；实时数仓采用流处理（秒/分钟级延迟），用于实时监控和推荐。两者在架构上差异明显：离线数仓通过Hive/Spark进行批量处理，实时数仓则依赖Flink/Kafka实现流式计算。核心区别体现在延迟、数据更新方式和运维复杂度上，但都遵循相似的分层模型（DWD-DWS-ADS）。企业通常需要同时部署两种系统，分别满足不同时效性的业务需求。
2026-06-19 21:48:10
748
原创 三、数据库 vs 数据仓库：不只是“大“与“小“的区别
摘要 数据库与数据仓库的核心区别在于设计目标不同：数据库（OLTP）面向业务系统，强调高并发事务处理；数据仓库（OLAP）面向分析决策，侧重大规模数据聚合分析。主要差异体现在： 数据模型：数据库采用范式化设计减少冗余，数据仓库采用星型/雪花模型优化查询。 存储方式：数据库行存适合点查，数据仓库列存优化扫描分析。 时间视角：数据库关注当前状态，数据仓库存储历史数据支持趋势分析。 数据流向：数据仓库通过ETL整合多源业务数据。 两者互补共存，数据库支撑业务运行，数据仓库驱动分析决策。选择时需根据实时事务处理或历
2026-06-18 23:55:47
533
原创 二、Git Flow 完全指南：让你的团队协作井然有序
Git Flow 是一种高效的 Git 分支管理模型，通过定义 main/develop 长期分支和 feature/release/hotfix 短期分支，实现并行开发与版本控制。核心流程包括：从 develop 创建 feature 分支开发新功能；功能完备后创建 release 分支进行测试和发布；出现生产问题时从 main 创建 hotfix 分支紧急修复。相比 GitHub Flow 更适用于有明确发布周期的项目，但需要遵循分支规范，避免在 release 分支添加新功能、确保 hotfix 同时
2026-06-17 22:07:37
324
原创 一、基于GitLab的版本控制与环境搭建全流程
本文基于《Flink电商实时数仓5.0》教程，详细梳理了项目开发环境准备的关键步骤。项目采用Flink 1.17.1等技术栈，重点介绍了GitLab安装与配置、用户权限管理、代码推送规范等版本控制体系建设，以及Kafka分区设置等基础设施部署。通过规范的环境准备流程，为后续ODS、DIM等核心模块开发奠定基础，体现了企业级项目开发的工程化思维。文章强调版本控制先行、权限最小化等原则，确保团队协作效率与代码质量。
2026-06-16 22:36:59
345
原创 一、零基础Claude Code安装配置及白嫖指南
本文提供了Windows系统安装Claude Code AI编程助手的完整教程。主要内容包括：1）安装必备依赖Node.js和Git；2）通过npm全局安装Claude Code本体；3）可选安装CC-Switch可视化工具；4）配置接入讯飞星辰（限时免费）和硅基流动（16元代金券）两大模型平台。教程步骤详细，配有截图说明，适合新手快速部署使用这款深度适配本地项目的AI编程工具，实现代码编写、优化和版本控制等功能。
2026-06-15 17:50:17
1199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人