- 博客(11)
- 收藏
- 关注
RSS订阅原创 YARN 核心机理与实战避坑指南（含资源调度详解）
YARN（Yet Another Resource Negotiator）是 Hadoop 2.0 引入的核心组件，负责集群资源管理与作业调度。它解耦了 Hadoop 1.0 中 MapReduce 的 JobTracker 功能，将资源管理（ResourceManager）和作业调度/监控（ApplicationMaster）分离，从而支持除 MapReduce 外的多种计算框架（如 Spark、Flink、Tez）在同一个集群上运行。
2026-08-06 16:24:58
207
原创 HDFS 机制原理与实战避坑指南
理解 HDFS 的机制原理是高效使用它的基础。其主从架构、分块复制和最终一致性模型，在带来高吞吐和高可靠性的同时，也引入了小文件、单点、均衡等经典挑战。在生产中，除了遵循本文的避坑指南，还需结合监控、定期巡检和容量规划，才能让 HDFS 集群稳定、高效地支撑上层计算任务。
2026-07-16 23:15:24
283
原创 选择排序算法详解：核心思想、变种、时间复杂度与大数据应用（红色个人注释）
对于大数据排序，工业界普遍采用时间复杂度为O(n log n)的算法（如快速排序、归并排序、Timsort），或利用分布式计算框架（如 Apache Spark、Hadoop MapReduce）进行并行排序。核心结论：选择排序的核心价值在于其思想简单，是理解排序算法的基础。但在大数据实践中，应优先选择更高效的排序算法或利用分布式计算能力。
2026-07-11 13:57:50
377
原创 Hadoop Shuffle 流程详解：从 Map 到 Reduce 的数据流转(红色字体为个人经验补充，AI基础上做了修改和补充）
Shuffle 是 Hadoop MapReduce 框架中连接 Map 和 Reduce 阶段的关键过程。它负责将 Map 任务输出的中间结果进行分区、排序、合并，并传输给对应的 Reduce 任务。理解 Shuffle 流程对于优化 MapReduce 作业性能至关重要。输入：HDFS 数据块（InputSplit）处理输出：分区且排序的中间文件（每个 Map 一个）Hadoop Shuffle 是 MapReduce 框架中最复杂且最耗时的环节，涉及内存管理、磁盘 I/O、网络传输和排序算法。
2026-07-10 02:26:32
252
原创 插入排序-大数据应用
插入排序在大数据平台中并非主角，但它是一个不可或缺的"最佳配角"。对于小规模数据或近乎有序的数据，它简单且高效。作为复杂算法（如 TimSort、归并排序）的优化子过程。在流处理实时计算中，维护固定大小的有序集合（如 Top-N）。理解并善用插入排序，能让大数据工程师在构建系统时多一种精细化的优化手段，在合适的场景下用最简单的算法获得可观的性能提升。在设计大数据处理流水线时，考虑在 Shuffle 边界、Reduce 端或状态计算中引入插入排序的逻辑，往往是系统达到极致性能的巧妙一环。
2026-07-10 00:51:45
373
原创 冒泡排序：从经典到大数据，一文掌握多种解法与演进
记录每一轮最后一次发生交换的位置，该位置之后的元素已经有序，下一轮只需遍历到此位置即可。return arr。
2026-07-08 14:42:38
221
原创 Delta lake第一稿个人翻译和注释（第四章）
亚马逊S3等云对象存储是全球规模最大、最具成本效益的存储系统之一，因此成为存储大型数据仓库和数据湖的理想之选。遗憾的是，它们作为键值存储的实现使得实现ACID事务和高性能变得困难：元数据操作（如列出对象）成本高昂**（解释：对象存储在云上面list操作费用是get操作的10倍，并且抽取类似元数据次数多了，费用很贵；所以整体思想是减少list操作，有个元数据管理文件，然后从文件抽取必要文件然后采取 get操作），一致性保证也有限。
2026-07-08 14:23:29
291
原创 开源项目：SQL API Gateway V1.2.0
让数仓 SQL 像 REST API 一样被治理——有审批、有鉴权、有限流、有熔断、有审计。如果你正在做 Doris / ClickHouse 对内服务化，又不想从零搭一套数据开放平台，这个项目可以作为开箱即用的起点。代码开源、文档齐全、CI 通过，欢迎 Star 和 Issue。相关链接如需转载，请注明出处与项目链接。
2026-06-30 16:57:35
485
原创 开源项目：指标管理系统 sqldm 的设计与实践
本文介绍了开源轻量级指标管理系统 sqldm（SQL-Driven Metrics），旨在解决数仓成熟后业务指标分散、口径混乱等问题。该系统通过集中管理指标元数据和SQL模板，提供审批流程控制和统一API服务，降低维护成本。采用Java 21 + Spring Boot 3.2技术栈，支持PostgreSQL数据库和容器化部署，包含角色权限体系、指标元数据模型和审批流程等核心功能。项目已开源，提供三步快速部署指南，欢迎开发者参与改进。
2026-06-16 16:32:39
279
原创 数据中台(业务篇)如何落地
随缘，不附图。内容跟各位相左，望提意见，有冲突望海涵。以下内容为个人的猜想+阿里落地思想+云溪科技的理论指导结合。尽量简单的从业务角度看数据中台。这个讲给不会技术的业务和管理听的。内容分: 商业价值(也可以说战略价值，转化成roi亦可不过分析深度和力度以及麻烦℃很大)，中台内容，运营价值，落地难度，落地方法论。商业价值:1，社会大趋势，对于传统公司如果错过了数字化或者互联网+时代，可以借助东风进行一步到位的互联网模式赋能。对于非c端技术公司，可以进行产品输出增加业务可选项，产品多样化(毕竟d
2020-06-12 00:46:44
1809
原创 数据中台=数字化+业务系统化+数据治理+科研团队
(懒得编辑，有缘人随意看，有意见请提)数据中台是大工程很多人问我啥是数据中台，怎么做？我想阿里爸爸的大佬也不是很清楚。我只能做个猜想。“数据中台”的概念提自马财主，云徒科技帮忙搞出理论篇，看过他们的书，繁琐又复杂，不过干货还是有的，至少指导思想在。根据个人经验做出了以下猜想，尽量(企图)简单化这个理论，用系统角度可以更好落地数据中台=数字化+业务系统化+数据治理+科研团队数据中台的核心，1，最大化减少复用。科研复用，接口复用，业务流程复用，逻辑复用，代码复用(可能还很多复用)2，最大化将共用
2020-05-29 13:57:43
1574
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人