- 博客(774)
- 收藏
- 关注
RSS订阅原创 MMS、RTSP、RTMP、HLS、SRT、RIST 全面解析
本文全面解析六大流媒体协议（MMS、RTSP、RTMP、HLS、SRT、RIST）的核心特性与技术架构。通过对比表格展示各协议在创建方、传输方式、延迟特性等方面的差异，并深入分析各协议的工作流程、参数配置及优化方案。针对不同应用场景（直播、点播、监控等）提供详细的选择指南，特别强调低延迟场景下SRT与RIST的性能对比，最后给出基于网络条件和延迟要求的协议选择决策流程图，为流媒体系统开发提供技术参考。
2025-07-24 00:29:02
580
2
原创 从零搭建直播系统的开源软件架构指南
本文介绍了基于开源技术的完整直播系统架构方案，涵盖推流、传输、处理和播放全流程。核心组件包括SRS/MediaMTX媒体服务器、FFmpeg转码集群、MinIO/Ceph存储系统、Nginx/Traefik CDN分发以及video.js等播放器。文章详细说明了各层技术实现，提供了SRS配置样本、FFmpeg转码命令和Nginx CDN配置示例，并设计了管理系统API。最后介绍了基于Prometheus的监控系统架构和关键指标，以及实时字幕等扩展功能的实现方式。该方案全部采用开源技术，适合中小型直播平台建设
2025-07-24 00:28:10
408
原创 利用SRT协议构建手机APP直播Demo
本文介绍了一个基于SRT协议的手机直播Demo实现方案，支持Android和iOS双平台。方案采用"摄像头采集→视频编码→SRT封装→网络传输"的流程架构，重点展示了Android平台的实现细节。通过CameraX实现摄像头采集，MediaCodec进行H.264编码，并集成SRT库（1.5.0版本）实现低延迟推流（200ms延迟设置）。核心代码包括SRT连接管理（支持流密钥和加密）、视频编码配置（1280x720@30fps，4Mbps码率）以及线程安全的推流控制。该方案为移动端SRT
2025-07-24 00:27:18
448
原创 使用SRT Streamer开启APP直播推流完整指南
本文介绍了在移动APP中集成SRT协议实现高质量直播推流的完整方案，涵盖Android和iOS双平台实现。SRT协议具有超低延迟（<200ms）、强抗丢包能力（30%丢包率仍可传输）等核心优势。Android实现部分包括添加SRT依赖库、建立SRTSocket连接、配置视频编码器以及帧数据发送逻辑。iOS部分同样包含SRT连接建立、视频编码器配置和摄像头设置。最后简要提及了服务器端SRS的配置示例。该方案为APP开发者提供了一套完整的跨平台低延迟直播推流解决方案。
2025-07-24 00:26:35
431
原创 使用SRS开启SRT协议的视频直播服务完整指南 --重要
SRS结合SRT协议搭建视频直播服务指南 核心优势 SRT协议提供超低延迟(<200ms)、强抗丢包能力(30%)和高安全性(AES加密) SRS服务器支持多协议转换，单节点可承载1000+并发连接 部署流程 环境准备：安装Ubuntu/CentOS系统及编译依赖 编译安装：通过./configure --srt=on启用SRT支持 配置服务：设置监听端口、加密密钥和延迟参数 推流方案：支持OBS插件、FFmpeg命令行和移动端SDK推流 播放方案：原生SRT播放或转换为RTMP/HLS/WebRTC
2025-07-24 00:25:05
447
原创 使用ZLMediaKit开启SRT视频直播服务完整指南
ZLMediaKit SRT视频直播服务搭建指南 本文详细介绍基于ZLMediaKit搭建SRT视频直播服务的完整方案。主要内容包括： 系统架构：设计SRT推流、多协议分发的媒体服务器架构 安装部署：从源码编译支持SRT的ZLMediaKit，包含SRT库依赖安装 服务配置：提供详细的config.ini配置示例，涵盖SRT参数、加密和安全设置 客户端方案：OBS、FFmpeg推流配置及移动端实现方法 播放方案：专业播放器、Web播放器和移动端播放实现 高级功能：NAT穿透、云端录制、多路转码等进阶配置 监
2025-07-24 00:23:54
344
原创 FFmpeg 集成 libxvid（XviD 视频编解码器）
本文详细介绍了在Linux系统中为FFmpeg集成libxvid（XviD视频编解码器）的完整流程。主要内容包括：1）libxvid源码编译安装；2）FFmpeg配置时启用XviD支持；3）编译安装与运行时环境设置；4）XviD编解码测试方法；5）常见问题解决方案。关键技术点涉及库路径配置（--extra-cflags/--extra-ldflags）、动态链接库管理和多线程优化。该集成方案适用于需要处理MPEG-4 Part2格式（如DivX兼容视频）的场景，需注意XviD的GPL许可证要求。通过本指南可
2025-07-24 00:22:40
400
原创 结合OBS与MediaMTX实现SRT直播推流完整指南
OBS+MediaMTX SRT直播推流方案摘要 本文详细介绍基于OBS Studio和MediaMTX构建的SRT直播推流解决方案。该系统采用SRT协议实现超低延迟(<200ms)传输，具备抗网络丢包(支持30%丢包恢复)和AES加密能力。配置部分包含MediaMTX服务器的YAML设置(监听端口、转码输出、录制功能)和OBS的SRT插件安装指南，支持多协议输出(SRT/RTMP/HLS/WebRTC)。方案提供从推流端配置到播放端集成的完整链路，包括VLC/网页播放器/移动端的对接方法，并涵盖集群
2025-07-24 00:21:56
414
原创 Nginx集成RTMP模块实现RTMP推拉流完整指南
Nginx集成RTMP模块实现直播推拉流指南 本文详细介绍在Linux环境下为Nginx集成RTMP模块，构建完整的直播推拉流系统。主要内容包括： RTMP模块特性：支持RTMP/HLS/DASH协议，具备直播推拉流、转码、录制等功能，支持高并发连接 部署流程： 安装系统依赖 下载Nginx和RTMP模块源码 编译安装并配置为系统服务 关键配置： 设置RTMP和HTTP服务器 配置直播应用和录制功能 创建HLS/DASH输出目录 实战操作： 使用FFmpeg或OBS进行推流 通过多种协议(RTMP/HTTP
2025-07-24 00:20:37
685
原创 APP访问SRS推流的RTMP直播地址完整指南
APP访问SRS推流的RTMP直播地址实现指南 本文详细介绍了在移动APP中访问SRS服务器RTMP直播流的完整方案： 播放器集成： Android推荐ExoPlayer+RTMP扩展或ijkplayer iOS推荐IJKPlayer框架 提供各平台初始化代码示例 地址获取： RTMP标准地址格式说明 开发测试使用固定地址 生产环境建议通过API动态获取 优化配置： 缓冲参数设置 低延迟模式 网络状态处理 安全方案： URL鉴权实现 SRS服务器安全配置 备选方案： HTTP-FLV/HLS/WebRTC等
2025-07-24 00:19:44
486
原创 SRS对HLS协议中TS包的插帧操作深度分析
SRS对HLS协议TS包插帧技术深度解析 SRS流媒体服务器通过智能插帧技术有效解决HLS协议传输中的关键问题：网络抖动、丢包和播放卡顿。系统采用双向运动补偿算法，在检测到TS包序列不连续或时间戳间隔超限时，动态生成虚拟TS包填补播放间隙。核心创新包括时域-空域联合优化、分级插帧策略和音画同步机制，实现86%以上的卡顿率降低。通过环形缓冲区设计、SSE指令集加速等优化手段，在1080p分辨率下保持12-18%的CPU占用率。相比传统方案，SRS插帧技术在直播场景中展现出1-3帧的低延迟优势，同时支持动态调整
2025-07-24 00:18:38
394
原创 Linux环境下安装SRS流媒体服务器实现视频直播推流
本文详细介绍了在Linux环境下安装配置SRS流媒体服务器实现视频直播推流的方法。主要内容包括：系统准备要求（Ubuntu/CentOS）、两种安装方式（源码编译和预编译包）、基础配置示例、服务启动与验证。重点讲解了推流实战环节，涵盖FFmpeg命令行推流、OBS Studio设置、多种协议播放地址（RTMP/HTTP-FLV/HLS/WebRTC）及播放测试方法。此外还介绍了HTTPS安全传输、直播流录制、转码配置和鉴权安全等高级功能，以及通过控制台和API进行监控管理。全文提供了完整的命令示例和配置文件
2025-07-24 00:17:45
693
原创 Linux环境下为FFmpeg集成SRT和RIST协议支持
本文详细介绍了在Linux环境下为FFmpeg集成SRT和RIST协议支持的方法。内容包括：1)系统准备与依赖安装；2)SRT协议库的编译安装；3)RIST协议库的编译安装；4)FFmpeg的编译配置支持这两种协议；5)两种协议的使用示例和高级配置选项；6)性能优化建议和常见问题解决方案。文章还对比了SRT(适合低延迟场景)和RIST(适合安全传输)的特性差异，并提供了完整的测试脚本。通过本指南，用户可以在FFmpeg中实现高性能、可靠的视频传输功能。
2025-07-24 00:15:51
193
原创 ZLMediaKit对H.264流的插帧操作深度分析
摘要： ZLMediaKit的H.264插帧技术通过智能运动补偿和动态策略调整，在实时视频传输中实现三大突破：1）网络抖动下保持>95%有效帧率；2）确保500ms内端到端低延迟；3）相比传统方案降低40%CPU占用。该技术采用双向运动估计算法，在解码端动态生成中间帧填补播放间隙，支持硬件加速和自适应插帧强度调整。实测显示在20%丢包率下帧率提升96%，特别适用于互动直播、云游戏等低延迟场景，未来将向AI超分辨率插帧和5G预测性插帧方向发展。
2025-07-24 00:15:04
400
原创 利用RTMP协议构建电脑与手机的直播Demo
本文提供了一个完整的RTMP直播Demo搭建指南，详细介绍了从媒体服务器部署到推流/播放的全流程。主要内容包括：1）两种媒体服务器部署方案（SRS和Nginx-rtmp）；2）电脑和手机端的推流设置方法；3）各平台的播放配置；4）双向互播测试方案；5）进阶功能扩展和安全注意事项。该方案支持电脑与手机之间的实时视频流传输，并提供了RTMP和HLS两种协议支持，以及常见问题的解决方案。
2025-07-24 00:13:24
261
原创 Linux 环境下安装 ZLMediaKit（一款高性能流媒体服务器框架）并实现视频推流
摘要： ZLMediaKit 是一款高性能的跨平台流媒体服务器框架，支持 RTMP、RTSP、HLS 等协议。在 Linux 系统（如 Ubuntu/CentOS）中可通过源码编译或预编译包安装。安装前需确保依赖库（如 libx264、libssl）已配置。安装完成后需修改配置文件（如 RTMP 端口、应用名），并通过 FFmpeg 测试推流（如 ffmpeg -f v4l2 -i /dev/video0 -f flv rtmp://localhost:1935/live/my_stream）。常见问题包括
2025-07-23 01:07:46
690
原创 FFmpeg 集成 libwebp （WebP 图像格式的编解码库）
本文详细介绍了在Linux系统中为FFmpeg集成libwebp库的方法，主要包括：安装libwebp开发库、配置FFmpeg编译选项、编译安装及环境设置等步骤。通过此集成，FFmpeg可支持WebP图像的编码和解码。文章还提供了测试命令和常见问题解决方案，注意事项涵盖性能优化和版本兼容性等。该指南适用于需要在FFmpeg中处理WebP格式的开发者和用户。
2025-07-23 01:07:33
622
原创 FFmpeg 集成 AV1（AOMedia Video 1）编解码器
摘要： 本文详细介绍了在Linux系统中为FFmpeg集成AV1编解码器的完整流程。主要内容包括： 前置准备：需安装libaom开发库，支持Ubuntu/Debian/CentOS等系统，提供手动编译方法。 FFmpeg配置：通过./configure启用--enable-libaom参数，指定头文件与库路径。 编译与验证：完成编译后需更新动态库缓存，通过ffmpeg -codecs确认AV1支持。 测试与问题解决：提供AV1编解码测试命令，并针对常见错误（如库路径问题、编码速度慢）给出解决方案。 注意事项
2025-07-23 01:07:13
435
原创 开启RTMP直播推流利器--OBS Studio
本文详细介绍了使用OBS Studio进行RTMP直播推流的完整流程。从软件安装、服务器准备到具体配置步骤，包括视频/音频参数设置、画面源添加和推流测试方法。同时提供了常见问题解决方案，如连接失败、画面卡顿、音频异常等，并建议了多平台推流、虚拟摄像头等进阶功能。通过清晰的参数说明和操作指引，帮助用户快速掌握OBS推流技术，适用于游戏、会议、教学等多种直播场景。
2025-07-23 01:06:59
651
原创 FFmpeg中SAR（Sample Aspect Ratio，采样宽高比）和 DAR（Display Aspect Ratio，显示宽高比）
SAR（采样宽高比）和DAR（显示宽高比）是FFmpeg中影响视频显示效果的关键参数。SAR表示像素本身的宽高比例，由编码参数决定；DAR则是视频在设备上的实际显示比例。二者关系为DAR = SAR ×原始分辨率宽高比。通过ffprobe或ffmpeg命令可查看SAR/DAR信息，使用setsar/setdar滤镜或scale滤镜可调整参数。常见问题包括黑边（DAR不匹配）、视频变形（SAR强制拉伸）等，建议优先使用scale滤镜保持原始SAR，避免画面失真。正确处理SAR/DAR可确保视频在不同设备上正确
2025-07-23 01:06:45
642
原创 FFmpeg 集成 AVS3（中国自主视频编码标准）解码器
在 Linux 环境下为 FFmpeg 集成 AVS3 解码器需要完成 AVS3 解码库安装、FFmpeg 源码编译配置和运行时环境设置等步骤。首先获取 FFmpeg 源码和 AVS3 解码库（可能需手动编译安装），然后配置 FFmpeg 编译选项，添加 --enable-avs3 参数并指定库路径。编译安装后，需更新动态链接库缓存并验证解码器是否成功集成。该方案支持 AVS3 视频解码，但需注意版本兼容性和许可问题。
2025-07-23 01:06:33
614
原创 FFmpeg 中实现音视频解码的多线程处理
摘要：FFmpeg支持通过切片级多线程(Slice-Level Threading)实现音视频并行解码，主要适用于H.264/H.265等支持切片的编码格式。配置方式包括环境变量(FFMPEG_THREAD_COUNT)和API参数(av_opt_set)，其中视频解码可设1线程，音频解码通常单线程处理。代码示例展示了如何分离音视频流并启用多线程解码，视频解码通过av_opt_set设置线程参数，而音频采用单线程处理。该方案能有效提升解码效率，但需注意编解码器的多线程支持情况。
2025-07-23 01:06:19
413
原创 FFmpeg 兼容数十种音频格式的播放
FFmpeg 是一个强大的跨平台音视频处理框架，支持数十种音频格式的播放，包括主流格式（如 MP3、AAC、FLAC、WAV）和专业格式（如 Opus、DTS）。其音频播放流程分为解封装、解码、重采样和输出四个核心步骤，通过内置编解码器或外部库实现兼容性。FFmpeg 提供命令行工具 ffplay 直接播放音频，也支持 C/C++ API 进行自定义开发。无论是常见音频格式还是特殊编码需求，FFmpeg 都能提供灵活的解决方案。
2025-07-23 01:06:06
442
原创 MediaMTX（原 SRS-MediaServer）的推拉流详解
MediaMTX 推拉流功能详解 MediaMTX 是一款开源跨平台流媒体服务器，支持 RTMP、RTSP、WebRTC、HLS、HTTP-FLV、SRT 等协议，适用于直播、视频会议和监控场景。 核心功能 推流：支持通过 RTMP/SRT/WebRTC 接收外部输入（如 OBS/摄像头） 拉流：支持将流转发为 HLS/RTSP/HTTP-FLV 等协议输出 典型应用 直播推流：通过 RTMP 接收 OBS 推流并转为 HLS 播放 低延迟传输：SRT 协议实现抗丢包传输 互动直播：WebRTC 支持双向音
2025-07-23 01:05:45
780
原创 FFmpeg 的音频重采样的缓存
FFmpeg音频重采样中的缓存机制是确保数据处理连续性和稳定性的关键。通过libswresample库的SwrContext管理，缓存平衡输入/输出速率差异，对齐数据块并防止数据丢失。核心参数包括输入/输出缓存大小、补偿延迟和处理块限制。通过swr_set_compensation()等函数可优化缓存行为，解决延迟过高、溢出或卡顿等问题。调试时可通过日志、状态检查工具监控缓存情况。合理配置缓存参数对实时和离线处理场景的音质与性能至关重要。
2025-07-23 01:05:11
572
原创 FFmpeg 集成 libopus（音频编解码）和 libvpx（VP8/VP9 视频编解码）
本文详细介绍了在Linux环境下为FFmpeg集成libopus音频编解码和libvpx视频编解码库的完整步骤。首先需安装基础开发工具链和库文件，然后通过配置FFmpeg编译选项启用相关功能，执行编译安装后验证编解码器支持情况。文章包含常见问题解决方案和注意事项，适用于需要支持VP8/VP9视频和Opus音频编解码的应用场景。整个过程涉及依赖管理、编译配置和功能测试，提供了从安装到验证的一站式指导。
2025-07-23 01:04:56
564
原创 FFmpeg 集成 Vorbis（音频编解码器）和 AMR（自适应多速率语音编码）
本文详细介绍了在Linux环境下为FFmpeg集成Vorbis音频编解码器和AMR语音编码器的完整流程。主要内容包括：1）安装开发工具链和FFmpeg源码；2）通过apt或yum安装Vorbis和AMR的开发库；3）配置FFmpeg编译选项以支持这两种编解码器；4）编译安装并验证集成效果；5）提供常见问题解决方案和注意事项。该指南适用于Ubuntu/Debian和CentOS/RHEL系统，帮助用户实现音视频转码和语音处理功能，同时提醒注意AMR的专利授权问题。
2025-07-23 01:04:43
451
原创 FFmpeg的动态链接库（.so 文件）
FFmpeg的核心功能通过多个动态链接库(.so)实现，主要分为基础组件库和扩展组件库。基础库包括：libavformat（处理容器格式）、libavcodec（编解码核心）、libavutil（公共工具）等；扩展库如libavfilter（滤镜处理）和libavdevice（设备访问）。这些库具有层级依赖关系，开发时需按顺序链接。调用FFmpeg库需包含对应头文件，编译时指定链接库路径和名称，并注意运行时库加载问题。该架构支持音视频处理、转码、设备访问等多样化应用场景。
2025-07-23 01:04:24
665
原创 FFmpeg 项目的多个命令行工具
FFmpeg 提供了一套完整的音视频处理工具链，主要包括： ffmpeg：核心转码工具，支持音视频录制、格式转换、剪辑、滤镜处理和流媒体推拉等，适用于H.264/H.265转码、片段截取、音频提取等场景。 ffprobe：媒体文件分析工具，可查看编码格式、分辨率、帧率等元数据，支持JSON输出便于脚本解析。 ffplay：简易播放器，用于快速预览文件或测试解码效果，支持滤镜实时预览。 硬件加速工具（如ffmpeg-nvenc）：利用NVIDIA/Intel硬件加速编码，提升转码效率。 此外，ffserver
2025-07-23 01:04:10
409
原创 FFmpeg开发环境安装(Linux系统)
本文详细介绍了在Linux系统（Ubuntu/Debian和CentOS/RHEL）上搭建FFmpeg开发环境的完整流程。主要内容包括：1）安装基础开发工具和FFmpeg依赖库（如libx264、libfdk-aac等）；2）获取FFmpeg源码并配置编译选项；3）执行编译安装步骤；4）设置环境变量和验证安装；5）提供C语言测试程序示例验证API调用。文章还针对常见问题（如依赖缺失、链接错误等）给出解决方案，帮助开发者快速构建可用于音视频处理的FFmpeg开发环境。
2025-07-23 01:03:35
376
原创 Spark Structured Streaming 构建端到端流处理应用的实践指南
Spark Structured Streaming 实践指南摘要 本文详细演示了基于 Spark Structured Streaming 构建端到端流处理应用的完整流程，涵盖 Kafka 数据摄取、实时处理（过滤/窗口聚合）及多目的地输出（HDFS/Kafka/PostgreSQL）。通过用户点击流分析场景，展示核心代码实现（Scala），并深入剖析 延迟优化（水位线/微批间隔）、吞吐量调优（分区/并行度）及 容错配置（检查点/精确一次语义）。关键生产建议包括动态资源分配、背压控制与监控指标（如水位线延
2025-07-22 01:05:51
826
原创 在 Spark 的 RDD API 中处理分组、聚合和连接操作的基石：Key-Value Pair RDDs (`RDD[(K, V)]`)
Spark RDD 核心操作解析：聚合、排序与连接 摘要： 本文深入剖析 Spark RDD API 中 Key-Value Pair RDD 的核心操作。重点分析聚合操作（reduceByKey、groupByKey、aggregateByKey等）的性能差异与适用场景，强调 reduceByKey 的 Map 端预聚合优势；介绍 sortByKey 的排序机制与分区策略；详解各种连接操作（join、outerJoin等）的实现原理与性能特点。关键指出 shuffle 操作是性能瓶颈，并给出优化建议：优先
2025-07-22 01:05:35
539
原创 Spark 性能调优的黄金法则总结
Spark性能调优黄金法则摘要（150字版） 减少Shuffle：优先广播小表，用reduceByKey替代groupByKey，coalesce代替repartition。 优化Shuffle：调整分区数（spark.sql.shuffle.partitions），启用Kryo序列化，压缩数据。 内存管理：合理分配堆内/堆外内存，选择缓存级别（如MEMORY_ONLY_SER），优化数据结构减少GC。 并行度：确保分区数≥集群总核心数，动态调整避免数据倾斜。 解决倾斜：加盐打散Key，分离处理倾斜数据，或
2025-07-22 01:05:22
953
原创 Spark 的监控和性能调优高度依赖其内置的工具：【 Spark Web UI 和 Spark History Server】
Spark性能监控与调优工具概述 Spark提供Web UI和History Server用于监控和调优作业性能。Web UI（默认端口4040）包含关键标签页： Jobs：展示作业状态、耗时及进度，帮助定位耗时或失败的Action操作 Stages：核心分析页，显示Stage划分、数据倾斜（Task耗时差异）、Shuffle数据量及GC时间等关键指标 Storage：监控缓存数据集的大小与存储级别 Executors：查看Executor资源使用情况，特别是GC时间和Shuffle读写，支持日志诊断 SQ
2025-07-22 01:05:08
1281
原创 Spark两种核心的容错机制：Lineage（血统）和 Checkpointing（检查点）
摘要： Spark 通过 Lineage（血统） 和 Checkpointing（检查点） 两种机制实现容错。Lineage 记录 RDD 的转换逻辑（DAG 图），在节点故障时通过回溯计算重建丢失数据，适用于短依赖链场景。Checkpointing 则将 RDD 数据持久化到可靠存储（如 HDFS），截断冗长的 Lineage 链，尤其适合迭代算法或宽依赖操作，加速故障恢复。两者协同工作：Lineage 默认处理容错，Checkpointing 在关键节点截断依赖链，故障时优先从检查点恢复，未覆盖部分再通
2025-07-22 01:04:55
489
原创 Spark 性能优化的核心：内存管理
Spark 内存管理采用统一内存模型，Executor 堆内存分为预留内存（300MB）、用户内存（40%，存储用户数据结构）和 Spark 托管内存（60%，动态划分存储与执行）。常见 OOM 原因包括：用户代码在 User Memory 分配过大对象（如 collect()大量数据或转换算子创建大集合）；Executor 在 Storage Memory 缓存过多 RDD 或 Execution Memory 任务内存不足；以及 Shuffle 数据倾斜或分区不合理导致单任务内存超限。合理配置内存比例、
2025-07-22 01:04:43
765
原创 Spark 的 Shuffle 机制 && 理解为什么 Shuffle 昂贵？
摘要： Spark 的 Shuffle 机制是分布式计算中数据重分配的关键环节，也是性能瓶颈所在，主要消耗磁盘 I/O（Map端溢写临时文件、Reduce端拉取数据）和网络传输（跨节点数据传输）。其演进过程从HashShuffle（产生M×R个小文件，引发I/O和内存问题）优化为SortShuffle（Map端排序合并，每个Task仅输出1个数据文件+索引文件，减少文件数并支持高效顺序读取），同时通过BypassMergeSortShuffle（小分区数场景跳过排序）进一步平衡性能。优化核心在于减少小文件、
2025-07-22 01:04:31
842
原创 Spark 核心调度机制
摘要： Spark的任务执行层级分为Job、Stage和Task，分别对应Action触发的作业、基于Shuffle依赖划分的阶段和执行单元Task。DAGScheduler负责构建DAG并划分Stage，通过识别宽依赖确定Stage边界，按依赖顺序提交TaskSet。TaskScheduler则负责资源调度，将Task分配到Executor上执行，优先考虑数据本地性。整个过程从Driver程序开始，通过协同调度实现分布式计算，其中Shuffle依赖是Stage划分的关键，而Task并行度由RDD分区数决定
2025-07-22 01:04:16
679
原创 Spark 的集群架构是其分布式计算能力的核心
Spark集群架构由Driver Program、Executors和Cluster Manager组成。Driver是应用主控进程，负责解析代码、优化执行计划、任务分发和结果收集。Executors在工作节点上执行任务，管理数据分区和缓存。Cluster Manager负责资源管理，支持Standalone、YARN、Kubernetes和Mesos等模式。核心流程包括资源申请、任务分发、执行监控和结果返回。该架构通过分布式协同实现高效计算，支持多种集群管理模式。
2025-07-22 01:04:03
488
原创 端到端 Spark ML 项目实践：基于 Kaggle 的航班延误预测
本文演示了一个完整的Spark ML分布式机器学习项目，基于Kaggle航班延误数据集预测航班是否延误。项目从环境准备开始，加载并探索了分布式存储的航班数据。通过特征工程处理了时间、类别等特征，使用Pipeline构建了包含字符串索引化、独热编码和特征组合的处理流程。在模型训练阶段，采用随机森林分类器进行交叉验证调优，并行化搜索最佳参数。评估结果显示模型AUC表现良好，并分析了特征重要性。最后展示了如何保存包含特征工程和模型的完整Pipeline，以及加载模型进行预测的流程。整个项目充分利用了Spark的分
2025-07-22 01:03:47
513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人