Nefu_lyh-优快云博客

原创【Spark】 04键值对 RDD：创建、常用操作与数据分区

介绍 Spark 键值对 RDD 的创建方式、聚合、分组、连接、排序与行动操作，并结合 PageRank 示例讲解数据分区、分区器复用与自定义分区方式。

2026-11-06 18:33:49 362

原创【Spark】03Spark RDD：基础概念、创建方式与常用操作

介绍 Spark RDD 的核心概念与创建方式，结合 Scala 示例讲解转化操作、行动操作、函数传递与闭包注意事项，以及 RDD 的持久化与缓存。

2026-10-22 13:57:15 151

原创【Spark】02Spark 下载和入门：环境配置、简单的Spark独立应用(Scala版)

记录 Windows 下 Spark 的环境配置与 PySpark Shell 使用过程，介绍 RDD、Driver 与 Executor，并演示 Scala 独立应用的编写、sbt 打包和 spark-submit 提交。

2026-10-20 15:30:02 119

原创【Spark】01Spark 是什么：组件、应用场景与发展简史

介绍 Spark 的核心定位与组件体系，梳理其在数据科学和数据处理中的应用场景、发展历程，以及 Pipeline、Stage 与 DAG 执行模型。

2026-10-14 11:11:43 205

原创【工作杂谈_20261012】数据平台与工程治理: Spark OOM 排查：Java Heap、Executor 与代码内存模型

记录 Spark ingestion 发生 Java Heap OOM 的调查过程，梳理 Executor 内存、GC 指标、数据倾斜判断、参数误区与治理方案。

2026-10-12 17:57:02 267

原创【Python】一、Python 数据类型：从 List 到 NumPy array 到 pandas Series 的数据结构演进

从 Python list 和原生数组出发，逐步梳理 NumPy array、pandas Series 与 DatetimeIndex 如何补足批量计算、标签索引和时间语义能力

2026-09-09 14:32:37 168

原创【工作杂谈_20260817】多维分析与数据建模: 维度上卷：从明细粒度到汇总层级

梳理维度上卷的概念、层级关系与聚合原则，并说明其在 OLAP 和多维分析中的应用

2026-08-28 08:00:00 214

原创【工作杂谈_20260825】数据平台与工程治理: Benchmark 与 Baseline：从基准测试到生产基线

系统梳理 Benchmark 与 Baseline 的定义、区别和关系，并通过技术选型、性能回归、容量规划、生产监控和数据质量等场景说明如何落地。

2026-08-26 14:59:31 406

原创【工作杂谈_20260810】用户分析与身份体系: Active User：定义、计算口径与常见应用

系统梳理 Active User（AU）的定义与 DAU、WAU、MAU 口径，介绍多维分析、漏斗分析和留存分析的计算方法，以及 AU 在数据模型中的设计原则。

2026-08-21 16:48:50 341

原创【工作杂谈_20260806】多维分析与数据建模: CROSS JOIN 实战：灵活生成多维聚合组合

介绍如何通过 CROSS JOIN 和维度组合辅助表灵活生成多维聚合结果，并对比 GROUPING SETS、ROLLUP 与 CUBE 的适用场景

2026-08-07 11:27:11 175

原创【工作杂谈_20260731】数据平台与工程治理: MySQL 时区转换：UTC、北京时间与 PST/PDT 的对齐

记录在 Grafana、MySQL 和 Azure 跨时区场景中排查 create_time 展示差异的过程，并梳理 UTC、北京时间、PST/PDT 之间的转换关系与实践建议。

2026-08-05 23:36:00 1268 1

原创【HIVE】四_(1) Hive 七种 JOIN 的区别：NULL 匹配规则与结果对比

通过 orders 和 users 示例表对比 Hive 中 INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL OUTER JOIN、CROSS JOIN、LEFT SEMI JOIN 等 JOIN 类型的匹配规则与结果差异。

2026-08-05 23:23:29 181

原创【Hive】十二、Hive 执行计划：EXPLAIN 输出与QueryPlan，EXPLAIN常见用法

梳理 Hive 执行计划 QueryPlan 与 EXPLAIN 输出的关系，结合 MapReduce Stage、Operator Tree、统计信息和常见 EXPLAIN 用法理解 SQL 执行过程

2026-07-13 18:38:39 346

原创【Hive】十一、Hive SQL 底层执行过程：编译、任务生成与 YARN 调度流程

梳理 Hive SQL 从客户端提交、HiveServer2 接收、Driver 编译优化，到生成 MapReduce 并提交 YARN 调度执行的完整流程。

2026-06-26 08:00:00 329

原创【Hive】十、窗口函数：OVER / PARTITION BY / ORDER BY 与 OLAP 分析

系统讲解 Hive 窗口函数的核心概念、OVER 子句、PARTITION BY 与 ORDER BY 的窗口定义方式，并结合排名、累计计算、移动平均、前后行比较等 OLAP 分析场景说明常见函数用法。

2026-06-24 08:00:00 211

原创【Hive】九、复杂数据类型：ARRAY / MAP / STRUCT 与嵌套展开

系统讲解 Hive 三种复合数据类型（ARRAY / MAP / STRUCT）的定义、访问语法、嵌套用法，以及配套的 UDTF 函数（explode / posexplode / LATERAL VIEW）与 Spark 3.0+ 的 CROSS JOIN UNNEST 标准语法对比

2026-06-22 17:41:23 792

原创【Hive】Windows 使用 Docker Compose 搭建 Hive 4.1.0 + MySQL 持久化环境

记录在 Windows 本机通过 Docker Compose 搭建 HiveServer2、Hive Metastore 和 MySQL Metastore DB，并实现 Hive 元数据与表数据持久化的本地学习环境。

2026-06-12 08:00:00 417 5

原创【Hive】八、Hive 计算引擎：MapReduce / Tez / Spark 对比与选型

系统梳理大数据三类计算引擎（批处理 / 流处理 / 查询）的边界与职责，并深入对比 Hive 支持的 MapReduce、Tez、Spark 三种执行引擎的原理、优缺点与工程选型建议。

2026-06-11 14:18:29 782

原创【Hive】七、Hive 函数：聚合 / 统计 / 分位数 / 集合 / 高级分组

系统讲解 Hive 聚合函数（count/sum/avg/max/min）、统计学函数（方差/标准差/协方差/相关系数）、分位数（percentile / percentile_approx）、集合聚合（collect_list/collect_set/map_agg）以及 GROUPING SETS / CUBE / ROLLUP 多维分析

2026-06-10 08:00:00 389

原创【Hive】六、Hive 运算逻辑：数学 / 逻辑 / 条件 / 日期 / 字符串函数

全面梳理 Hive 的数学运算、逻辑运算、条件函数（IF/CASE/COALESCE/NVL）、日期函数（时间戳互转/加减/截断）以及字符串函数（截取/拼接/正则/JSON 解析）的语法与易错点

2026-06-09 20:00:00 409

原创【Hive】五、Hive 存储格式与压缩：深入行存与列存原理、Hive 主流存储格式（TextFile / SequenceFile / RCFile / ORC / Parquet / Avro）

深入讲解行存与列存原理、Hive 主流存储格式（TextFile / SequenceFile / RCFile / ORC / Parquet / Avro）以及 Hadoop / Hive 中各种压缩算法的选型和参数配置

2026-06-08 20:00:00 419

原创【Hive】四、Hive SQL语法：Hive 数据库 / 表的 DDL（建库、建表、内外部表、分区、分桶、CTAS）以及 DQL 查询语法（SELECT、WHERE、GROUP BY、排序、JOIN

系统梳理 Hive 数据库 / 表的 DDL（建库、建表、内外部表、分区、分桶、CTAS）以及 DQL 查询语法（SELECT、WHERE、GROUP BY、各种排序、JOIN、UNION 等）

2026-06-07 20:09:04 310

原创【Hive】三、Hive 抽样：讲解 Hive 三大抽样方式：分桶抽样、块抽样、随机抽样的原理、语法、性能对比与实战案例

讲解 Hive 三大抽样方式：分桶抽样、块抽样、随机抽样的原理、语法、性能对比与实战案例

2026-06-05 09:51:06 587

原创【Hive】二、Hive 分区与分桶：深入理解 Hive 分区与分桶的原理、MapJoin、Bucket Map Join、SMB Join 以及最佳实践

本文分析了Hive表在1:不分区不分桶，2:分区不分桶，3:不分区分桶，4:分区分桶共四种情况下的执行原理与性能差异。

2026-06-03 15:41:31 499

原创【Hive】一、Hive数据类型：基本数据类型、复杂数据类型

介绍Hive支持的基本数据类型（TINYINT、INT、DOUBLE、DECIMAL、STRING等）和复杂数据类型（ARRAY、MAP、STRUCT）

2026-06-03 15:31:09 453

原创设置Linux命令行提示符shell prompt的前缀颜色，区分命令和输出结果（重连、重启都不会消失）

这行的作用：每次你用 root 登录，自动加载 .bashrc 里的颜色配置，再也不会丢！也要给他配，不然切回去就没颜色了（编辑 hadoop 的配置）永久配置方案（分 2 个用户root和hadoop，都配好）新建一个脚本（建在哪里都行）实现上述功能。编辑 hadoop 的登录配置。新开一个终端，即可显示效果。hadoop 立刻生效。给脚本加权限，运行它。

2026-03-25 21:07:50 278

原创 VMware Workstation Pro 免费安装手册（详细步骤图解）

图解官方流程，安装 VMware Workstation Pro 17

2025-03-21 10:33:38 67

原创 EasyPHP-Devserver-17安装和配置mantisBT

此文章记录了本人在安装mantisBT过程中遇到的问题以及解决办法

2023-09-09 16:02:04 1938

原创 Vue安装过程的困惑解答——nodejs和vue关系、webpack、vue-cli、vue的项目结构

本文主要记录了作者在初学Vue过程中遇到一些疑惑，并分享了《Vue.js+Node.js全栈开发实践》书中的有趣知识，例如Node.js的发展、Vue安装过程中可能疑惑、Vue项目的目录解释等

2023-08-31 15:03:37 2483 1

原创用foreach遍历访问的对象不一定需要实现IEnumerable接口，但是一定要实现GetEnumerator方法

用foreach遍历访问的对象需要不一定需要实现IEnumerable接口，但是一定要实现GetEnumerator方法

2023-03-02 23:15:25 1165

翻译英语学习翻译系列(中英)——Docker docs：Get Started(Part 2) Containerize an application

英语学习翻译系列(中英)——Docker docs：Get Started(Part 2) Containerize an application

2023-02-23 11:15:32 1080

翻译英语学习翻译系列(中英)——Docker docs：Get Started Part 1 Overview

英语学习翻译系列(中英)——Docker docs

2023-02-21 20:34:27 876

原创微软Docker学习记录（第二单元）

容器是一种松散隔离的环境，可用于生成和运行软件包。这些软件包包括在任何计算环境中快速可靠地运行应用程序所需的代码和所有依赖项。我们将这些包称为容器映像。容器映像是我们用于分发应用程序的单位。上图为我对于容器以及容器映像的理解软件容器化是一种操作系统虚拟化方法，用于在不使用虚拟机 (VM) 的情况下部署和运行容器。容器可在物理硬件上、云和 VM中运行，还可以在多个操作系统上运行。Docker 是一个用于开发、交付和运行容器的容器化平台。

2023-02-21 14:08:02 807