- 博客(357)
- 资源 (51)
- 问答 (5)
- 收藏
- 关注
RSS订阅
原创 计算机网络整理(超全整理)(2000+收藏)
本文系统介绍了网络通信的七层架构（ISO/OSI模型）与TCP/IP四层模型，对比了两者的层次对应关系。重点解析了TCP三次握手建立连接、四次挥手断开连接的过程及状态变迁，阐明了TIME_WAIT存在的原因。同时说明了长连接与短连接的应用场景，指出HTTP/1.1起默认采用长连接以提升性能，减少频繁建连带来的资源消耗。
2020-06-13 19:15:14
27680
95
原创 10分钟让你掌握Linux常用命令(+3万+++收藏)
本文系统梳理了Linux常用命令，涵盖目录与文件操作、批量处理、内容查看与编辑、日志监控及文本搜索等核心功能。重点介绍mkdir、cp、mv、rm等基础命令，find与grep实现精准查找与过滤，cat、more、less、tail -f支持高效文件浏览与实时日志追踪，结合vim完成配置修改。同时简要对比more与less差异，并通过split实现大文件分片处理，适用于运维、开发及系统管理场景。
2019-09-25 15:38:43
814048
374
原创 AnalyticDB MySQL 技术架构
AnalyticDB MySQL版是阿里云推出的云原生实时数据仓库，支持PB级数据分析。其核心为存算分离架构，通过访问、计算、存储三层解耦，实现弹性扩展与高可用。融合自研羲和引擎与Spark，兼顾实时分析、批处理、机器学习及湖仓一体能力。支持冷热分层、索引缓存与Serverless资源模式，满足多场景负载需求，助力企业高效应对数据规模增长、实时化处理与成本优化挑战。
2026-10-24 11:19:11
581
9
原创 AnalyticDB MySQL 简介
AnalyticDB MySQL版是阿里云全托管PB级实时数据仓库，支持毫秒级写入、亚秒级查询，兼容MySQL协议，采用湖仓一体架构，可统一处理结构化、半结构化及非结构化数据。适用于多源数据融合、实时分析、离线ETL与Spark计算，具备存算分离、自动弹性、冷热分层等优势，兼容丰富生态工具，适合构建统一数据分析平台。产品系列涵盖企业版（高可用）与基础版（单副本），满足不同场景需求。
2026-10-21 23:00:24
1143
7
原创 阿里云大数据组件
阿里云提供覆盖数据库全生命周期的丰富产品体系，包括关系型、AI原生、NoSQL及数据仓库等，支持企业高效构建智能化数据架构。同时，其大数据计算服务涵盖数据处理、开发治理与可视化应用，实现从数据采集到智能分析的一站式解决方案，助力企业数字化转型与业务增长。
2026-10-21 22:58:41
304
7
原创 Xml Functions（XML 函数）
Apache Spark SQL 提供12个XML处理函数，支持XML与结构化数据的相互转换及XPath查询。from_xml和to_xml实现XML字符串与STRUCT的互转；schema_of_xml可推断XML Schema；xpath_*系列函数（如xpath_string、xpath_int等）用于按XPath提取节点值并转换为不同数据类型，适用于复杂XML解析场景。所有函数均在Spark 2.0.0及以上版本可用，其中from_xml等5个函数自4.0.0引入。
2026-10-21 22:56:59
192
4
原创 Window Functions（窗口函数）
本文整理了 Apache Spark SQL 中 9 个窗口函数的语法、说明及示例，涵盖累积分布（cume_dist）、密集排名（dense_rank）、前后值获取（lag/lead）、第 N 个值（nth_value）、分桶（ntile）、百分比排名（percent_rank）、普通排名（rank）及行号（row_number），均支持分区与排序，适用于大数据分析中的复杂统计场景。
2026-10-21 22:56:06
179
5
原创 Vector Functions（向量函数）
Apache Spark SQL 4.2.0 引入了7个向量函数，支持向量计算：vector_avg（逐元素平均）、vector_sum（逐元素求和）、vector_inner_product（内积）、vector_cosine_similarity（余弦相似度）、vector_l2_distance（L2距离）、vector_norm（向量范数）及vector_normalize（归一化）。这些函数适用于机器学习与数据分析中的向量操作，提升复杂计算效率。
2026-10-21 22:54:59
190
3
原创 Variant Functions（Variant 函数）
Apache Spark SQL 4.0.0 及以上版本引入了11个Variant函数，用于处理JSON数据。核心功能包括：解析JSON（parse_json、try_parse_json）、验证合法性（is_valid_variant）、判断Variant null（is_variant_null）、获取Schema（schema_of_variant、schema_of_variant_agg）、转换结构（to_variant_object）、安全提取值（try_variant_get、variant_
2026-10-21 22:53:59
180
4
原创 Url Functions（URL 函数）
Spark SQL 提供5个URL处理函数：parse_url 和 try_parse_url 用于提取URL各部分；url_decode 与 try_url_decode 实现URL解码，后者失败时返回NULL；url_encode 对字符串进行URL编码。版本从3.4.0至4.0.0陆续引入，提升数据处理的容错性与灵活性。
2026-10-17 14:06:49
56
6
原创 Table Functions（表函数）
Apache Spark SQL 提供两个表函数：python_worker_logs() 返回 Python 工作进程日志，用于调试；range() 生成指定范围的数值表，支持自定义起始值、结束值、步长和分区数。前者引入于 4.1.0 版本，后者自 2.0.0 起可用。两者均用于数据探索与开发调试。
2026-10-17 14:06:18
55
5
原创 Struct Functions（结构体函数）
Spark SQL 中的 struct 和 named_struct 函数用于构造结构类型（STRUCT）。struct 按顺序将列值组合为带默认字段名（如 col1, col2）的结构体；named_struct 则允许指定字段名称与值，生成带有自定义键名的结构体。前者适用于无名字段组合，后者适合需要明确字段名的场景。两者均支持嵌套结构，广泛用于数据转换与复杂类型构建。引入版本分别为 1.4.0 和 1.5.0。
2026-10-17 14:05:48
44
4
原创 String Functions（字符串函数）
本文整理了 Apache Spark SQL 的 19 个常用字符串函数，涵盖字符编码（如 ascii、char）、字符串操作（如 btrim、concat_ws）、长度计算（如 char_length、bit_length）、匹配判断（如 contains、endswith）及格式化处理（如 format_number、format_string）等功能，适用于数据清洗与文本分析场景。部分函数如 collate、decode 等支持高级特性，引入版本从 1.5.0 至 4.0.0 不等，全面满足复杂字符串
2026-10-17 14:05:17
739
4
原创 St Functions（空间函数）
Apache Spark SQL 提供5个空间函数，用于处理地理数据。st_asbinary 将空间数据转为WKB二进制格式；st_geogfromwkb 与 st_geomfromwkb 分别解析地理和几何WKB数据；st_setsrid 设置空间参考系统标识（SRID）；st_srid 查询空间对象的SRID。均自Spark 4.1.0起引入，支持地理空间数据的转换与元信息管理。
2026-10-17 14:04:32
27
5
原创 Sketch Functions（Sketch 函数）
Apache Spark SQL 提供40个Sketch函数，支持高效近似计算。核心功能包括：approx_top_k_estimate（高频项查询）、hll_sketch_estimate与hll_union（去重计数及合并）、kll_sketch_*系列（分位数、秩查询及条目统计）。适用于大规模数据下的内存优化分析，引入版本从3.5.0至4.1.0，显著提升大数据场景下的性能与可扩展性。
2026-10-17 14:04:01
26
2
原创 Protobuf Functions（Protobuf 函数）
Apache Spark SQL 4.0.0 引入了两个 Protobuf 函数：from_protobuf 将 Protobuf 二进制数据转换为 Catalyst 值，to_protobuf 反向转换，将 Catalyst 值转为 Protobuf 格式。两者均需指定消息类型名、描述文件路径及可选参数，支持高效序列化与反序列化，适用于结构化数据处理场景。
2026-10-17 14:03:27
44
3
原创 Predicate Functions（谓词函数）
本文整理了 Apache Spark SQL 中的 23 个谓词函数，涵盖逻辑运算（如 and、or、not）、比较操作（如 =, <, !=）、空值处理（如 isnull、isnotnull、equal_null）、NULL 安全比较（<=>）及字符串匹配（如 like、ilike、regexp_like）。支持通配符、正则表达式和大小写不敏感匹配，适用于数据过滤与条件判断。引入版本从 1.0.0 至 3.4.0，功能全面，提升查询灵活性。
2026-10-17 14:02:53
15
3
原创 Misc Functions（其他函数）
本文整理了 Apache Spark SQL 中的 17 个通用函数，涵盖加密解密（如 aes_encrypt、aes_decrypt）、断言与错误处理（如 assert_true、raise_error）、位图操作（如 bitmap_count）、系统信息获取（如 current_catalog、current_user）及数据处理辅助函数（如 monotonically_increasing_id、input_file_name），适用于数据安全、调试与元数据管理场景。
2026-10-17 14:02:10
13
3
原创 Math Functions（数学函数）
本文整理了 Apache Spark SQL 的 68 个数学函数，涵盖基本运算（如 +、-、*、/、%）、绝对值（abs）、三角函数（sin、cos、tan 等）、反三角函数、双曲函数、进制转换（bin、conv）、取整（ceil、floor、bround）及根号计算（cbrt）等。函数支持浮点数与整数运算，部分函数引入于不同版本，适用于数据处理中的数值分析与转换需求。
2026-10-17 14:00:57
41
2
原创 Map Functions（Map 函数）
本文整理了 Apache Spark SQL 中 9 个 Map 相关函数，涵盖创建（如 map、map_from_arrays）、合并（map_concat）、查询（map_contains_key）、解析（map_entries、map_keys、map_values）及字符串转 Map（str_to_map）等操作，支持灵活处理键值对数据，提升数据处理效率。引入版本从 2.0.0 至 3.3.0。
2026-10-17 13:59:40
21
2
原创 Json Functions（JSON 函数）
Spark SQL 提供7个JSON函数，支持JSON与结构化数据的互转。from_json和to_json实现字符串与复杂类型转换；get_json_object和json_tuple提取指定字段值；json_array_length与json_object_keys分别获取数组长度和对象键名；schema_of_json可推断JSON Schema。适用于数据解析、清洗与结构化处理，版本从1.5.0至3.1.0不等。
2026-10-17 13:58:37
114
4
原创 Hash Functions（哈希函数）
Apache Spark SQL 提供7种哈希函数：crc32（返回CRC32校验值）、hash（多参数哈希）、md5、sha、sha1（SHA-1）、sha2（支持224/256/384/512位）及xxhash64（64位哈希，种子为42）。这些函数用于数据校验、去重与分区，版本从1.5.0至3.0.0陆续引入，广泛应用于大数据处理场景。
2026-10-17 13:57:36
69
3
原创 Generator Functions（生成器函数）
本文整理了 Apache Spark SQL 中的 9 个生成器函数，涵盖数组、Map 及结构体展开（如 explode、posexplode）、外层展开（explode_outer 等）、结构体展开（inline）、关键字与排序规则查询（sql_keywords、collations）以及行构造函数 stack，均支持多行输出，适用于复杂数据结构的扁平化处理。引入版本从 1.0.0 至 4.0.0 不等。
2026-10-17 13:56:35
104
4
原创 Datetime Functions（日期时间函数）
本文整理了 Apache Spark SQL 中 18 个常用日期时间函数，涵盖日期计算（如 add_months、date_add、date_sub）、时间差计算（如 date_diff、datediff）、格式化（如 date_format）、时区转换（如 convert_timezone）及提取操作（如 date_part、datepart）。支持精确到秒的小数位控制与截断功能，适用于大数据场景下的时间处理需求。
2026-10-17 13:55:18
91
2
原创 Csv Functions（CSV 函数）
Spark SQL 提供三个 CSV 处理函数：from_csv 将 CSV 字符串解析为 STRUCT，schema_of_csv 推断 CSV 的 Schema，to_csv 将 STRUCT 转换为 CSV 字符串。均自 3.0.0 版本引入，支持高效 CSV 数据转换与模式推断。
2026-10-17 13:54:03
181
4
原创 Conversion Functions（类型转换函数）
Apache Spark SQL 提供14个类型转换函数，涵盖从字符串、数值到日期时间等常见类型的转换。核心函数包括 cast（通用转换）、int、bigint、float、double、decimal 等数值转换，以及 string、boolean、date、timestamp、time、binary 等类型转换。所有函数自2.0.1版本起引入，支持灵活的数据类型处理，提升数据清洗与分析效率。
2026-10-17 13:52:51
178
2
原创 Conditional Functions（条件函数）
本文整理了 Apache Spark SQL 中的 12 个条件函数，涵盖 between、case、coalesce、if、ifnull、nanvl、nullif、nullifzero、nvl、nvl2、when 及 zeroifnull，介绍其语法、功能及使用示例，帮助用户高效处理数据中的条件判断与空值处理。
2026-10-17 13:51:43
206
2
原创 Collection Functions（集合函数）
Spark SQL 提供18个集合函数，涵盖数组与Map的聚合、排序、筛选、转换等操作。核心功能包括aggregate、reduce实现元素聚合，filter、transform进行条件处理与映射，element_at与try_element_at安全取值，map_zip_with合并两个Map，以及size、cardinality统计元素数量。支持从2.4.0到3.4.0版本逐步引入，适用于复杂数据处理场景。
2026-10-17 13:50:28
149
2
原创 Bitwise Functions（位运算函数）
Spark SQL 提供13个位运算函数，涵盖按位与（&）、或（|）、异或（^）、取反（~）、左移（<<）、右移（>>、>>>）及位操作函数（如bit_count、bit_get、getbit）。支持整数的二进制位级计算，适用于数据压缩、加密和高效数值处理。引入版本从1.4.0至4.0.0不等，功能全面且兼容性强。
2026-10-17 13:49:10
112
3
原创 Avro Functions（Avro 函数）
Spark SQL 提供三类 Avro 函数：from_avro 将二进制 Avro 数据转为 Catalyst 值，to_avro 反向转换，schema_of_avro 从 JSON Schema 生成 DDL 格式结构。均自 Spark 4.0.0 起支持，使用时需确保 Schema 匹配，否则结果未定义。适用于 Avro 数据的读写与模式解析。
2026-10-15 23:29:53
228
3
原创 # Array Functions（数组函数）
Spark SQL 提供丰富的数组函数，支持创建、操作与查询数组。常用函数包括 array() 创建数组、array_append/array_prepend 增删元素、array_remove 移除指定值、array_distinct 去重、array_contains 判断包含关系、array_size 获取长度，以及 array_join 拼接元素等。还提供集合运算如 array_intersect、array_union、array_except，并支持处理空值（如 array_compact）和索
2026-10-15 23:28:00
227
2
原创 Agg Functions（聚合函数）
本文介绍了 Apache Spark SQL 中常用的聚合函数，涵盖 any、any_value、approx_count_distinct、approx_percentile、approx_top_k 系列（含 accumulate、combine、estimate）、array_agg、avg、bit_and、bit_or 等。这些函数支持数据统计、近似计算、频次分析与位运算，适用于大规模数据处理场景，部分函数如 approx_top_k 自 4.1.0 版本起引入，具备高效内存使用与可扩展性。
2026-10-15 23:25:16
216
2
原创 MaxCompute中其他函数
本文系统梳理了10类常用函数，涵盖条件判断、类型转换、NULL处理、压缩校验、身份证解析、元数据判断、排序采样、Map转换、行列转换及随机ID生成。重点对比了IF与CASE WHEN、CAST与SAFE_CAST、COALESCE与NVL等核心函数的使用场景与差异，并通过实例说明其应用逻辑，助力高效、安全地进行数据处理与分析。
2026-09-28 09:15:00
304
13
原创 MaxCompute中加密与解密函数
MaxCompute 提供三层加密能力：单一密钥（SYM_ENCRYPT/DECRYPT）、基础 Keyset（支持密钥轮转）与 KMS 封装 Keyset（更高安全级别）。通过 NEW_KEYSET、ROTATE_KEYSET 等函数实现密钥管理，ENHANCED_SYM_ENCRYPT 实现基于 Keyset 的加解密。结合 KMS 保护密钥，满足不同场景下的数据安全需求，适用于敏感字段加密、密钥生命周期管理及高安全性要求的业务场景。
2026-09-28 09:00:00
352
8
原创 MaxCompute中JSON函数
本文系统梳理了MaxCompute中JSON函数的七大分类及核心功能，涵盖类型转换、查询提取、构造修改、格式化清洗与展开等场景。重点区分JSON_PARSE与FROM_JSON等易混淆函数，强调JSON路径（JSON Path）在字段定位中的关键作用，并通过案例说明其在半结构化数据处理中的应用，助力高效实现复杂数据的解析与操作。
2026-09-27 17:30:54
131
6
原创 MaxCompute中STRUCT函数
本文系统介绍MaxCompute中STRUCT相关函数，涵盖构造（STRUCT、NAMED_STRUCT、STRUCT EXPRESSION）、读取（FIELD）和展开（INLINE）三类操作。重点对比了各函数在字段命名、使用方式及与EXPLODE等函数的区别，结合案例说明如何构建复杂数据结构、提取字段值及展开ARRAY<STRUCT>为多行多列，帮助用户高效处理嵌套数据。
2026-09-27 17:29:34
82
4
原创 MaxCompute中MAP函数
本文系统梳理了MAP类型函数的六大分类：构造、读取/拆分、过滤/变换、合并、展开与统计，涵盖MAP、INDEX、MAP_FILTER、MAP_CONCAT等核心函数。通过对比其功能与使用场景，结合实例说明了如何高效构建、解析、操作和合并MAP数据，适用于大数据处理中的结构化数据转换与分析。
2026-09-27 17:23:49
106
5
原创 MaxCompute中ARRAY函数
本文系统梳理了数组函数的八大分类，涵盖构造生成、判断查找、集合运算、变换过滤、合并整形、展开、组合及聚合归一化等功能。通过分类对比与典型案例，清晰阐释了各函数的用途与使用差异，如ARRAY_POSITION（位置从1开始）与INDEX（下标从0开始）的区别，以及ALL_MATCH与ANY_MATCH的逻辑差异，助力高效处理数组数据。
2026-09-27 17:21:55
178
6
原创 MaxCompute中聚合函数
本文系统梳理了数据库聚合函数的七大分类，涵盖基础聚合、计数去重、极值关联、布尔位运算、集合字符串处理、统计分析及百分位分布等类型，详细解析各函数功能与应用场景。结合GROUP BY、DISTINCT、FILTER、WITHIN GROUP等语法要素，通过实例阐明聚合逻辑与使用技巧，帮助用户高效完成数据汇总与分析任务。
2026-09-27 17:06:19
209
2
原创 MaxCompute中数学函数
本文系统梳理了数值类函数的七大分类，涵盖基础运算、取整格式化、幂与对数、三角函数、进制转换、统计分桶及判断过滤等功能。重点解析了各函数定义、使用场景与差异，结合实例说明其在数据处理中的应用，如ABS取绝对值、ROUND四舍五入、POW幂运算、BIN进制转换等，便于高效实现数学计算与数据清洗。
2026-09-27 17:00:03
157
4
资料-线上问题排查利器-Alibaba Arthas.zip
2022-06-11
Arthas.xmind
2022-06-11
POIUtils.zip
2022-05-20
swagger-demo.zip
2022-05-12
validationQuery的用途
2023-04-23
原生Jdbc如何获取到数据库列表
2023-05-06
hive查询表字段加comment
2023-04-27
如何查询SQL中的表名呢？
2023-04-19
如何替换SQL中的表名呢？
2023-04-18
如何在MyBatis-Plus使用Explain？
2022-05-19
如何在MyBatis-Plus使用Explain？
2022-05-19
以下main方法中书写正确的是
2022-05-18
maven中scope标签可以在哪个位置使用？
2022-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人