进阶研学大咖说08期 ｜邵赛赛《Firestorm Remote Shuffle Service的实践和开源》

最新推荐文章于 2025-11-25 12:11:25 发布
原创 最新推荐文章于 2025-11-25 12:11:25 发布 · 213 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#腾讯 #编程语言 #java #大数据 #hadoop

本文由邵赛赛分享Firestorm Remote Shuffle Service在大数据处理中的实践，探讨Shuffle的重要性、Firestorm RSS的架构设计及其优势，以及在Firestorm整体流程中 Coordinator 和 Shuffle Server 的角色。此外，还介绍了Remote Shuffle Service的高可用、通用化和数据校验等独特架构特点。

931750c606ed9e87d2ad82d038058f3b.png

.

开源无边界，分享有价值

Code is not cold

腾讯犀牛鸟开源人才培养计划

「进阶研学大咖说」栏目

将陆续邀请众多开源大咖做客

一起分享和交流开源道路中成长心得

以知识和分享为起点

传承开源的璀璨星光

共创开源、多元、包容的新时代

3f54300963ae49ef18c056efdf6da11a.png

分享嘉宾介绍

cdea886a5d6fd2036fc9b3180ad9d3fe.jpeg

以下为精彩分享片段

Part.1 Shuffle知多少

数据交换（Shuffle）

是分布式计算框架的核心

它的整体流程是怎样的呢？

又具有怎样的优势？

现网Shuffle的痛点又有哪些？

最低0.47元/天 解锁文章
tencent__open
关注
Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践
Tencent_BigData的博客
11-18 2029
图片来源：pexels 背景 Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态： 基于文件的pull based shuffle，如MapReduce、Spark。这种shuffle方式多用于类MR的框架，比如MapReduce、Spark，它的特点是具有较高的容错性，适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案，因此失败重跑时只须重..
Open Source Talk 01期 ｜邵赛赛《我的开源之旅》
腾讯开源
06-29 501
About「Open Source Talk」栏目开源无边界，分享有价值。Code is not cold，「Open Source Talk」栏目，将陆续邀请众多开源嘉宾做客，一起分享和...
【大牛说】六位资深实践者寄语2016中国Spark技术峰会
zhong930的博客
05-10 1308
之前的报道中，我们介绍了2016中国Spark技术峰会的议题，正如议题介绍的那样，今年峰会不仅注重Spark最新版本的技术演进，Spark在生产环境的使用和案例，众多大数据开源技术与Spark的结合也成为大会关注的焦点。为此，主办方邀请到了Databricks、Hortonworks、Intel、Elastic、腾讯、新浪、AdMaster等国内外知名企业带来的共计12个议题分享。同时，在Data...
中国Spark技术峰会（上）：Spark与生态圈中组件结合实战
zhong930的博客
05-17 3152
5月13日-15日，由全球最大中文IT社区优快云主办的“2016中国云计算技术大会”（Cloud Computing Technology Conference 2016，简称CCTC 2016）在北京新云南皇冠假日酒店隆重举行，这也是本年度中国云计算技术领域规模最大、海内外云计算技术领袖齐聚、专业价值最高的一场云计算技术顶级盛宴。本次大会以“技术与应用、趋势与实践”为主题，聚焦最纯粹的技术干货...
CCTC 2016 Hortonworks邵赛赛：Spark and YARNBetter Together
05-16
该文档来自CCTC 2016中国云计算技术大会。Hortonworks技术专家邵赛赛发表的题为“Spark and YARNBetter Together”的主题演讲，欢迎下载！
【2024华为杯数模研赛赛题思路公开】国赛C题解题思路丨附可运行代码丨无偿自提
kstt20230206的博客
09-21 3436
并对附件二中的样本识别出相应波形，把分类结果填入附件四（Excel表格）中第2列，要求：（1）按样本序号填入相应分类结果，只填数字，1表示正弦波，2表示三角波，3表示梯形波，比如：附件二中第1个样品分类结果是三角波，在第2列样本序号为1对应行就填数字2；请通过分析斯坦麦茨方程（公式（2）），在同一种磁芯材料、正弦波形下，对于不同温度变化，磁芯损耗预测效果存在的差异性，构造一种可适用于不同温度变化的磁芯损耗修正方程（即在原斯坦麦茨方程基础上，增加温度这个因素，以适应不同温度变化，使磁芯损耗预测效果更好）；
【24华为杯数模研赛赛题思路已出】国赛A题思路丨附参考代码丨免费分享
RS_handy的博客
09-21 2758
2024年华为杯研赛A题解题思路 实际应用中，载荷（指主轴扭矩和塔架推力）数据随机性很强，且周期特征不标准，波峰波谷不易辨识（如图1所示）；此外，载荷循环（主轴扭矩和塔架推力的应力循环）的周期时长远远超过了实时计算的时间间隔（1s），因此，定义中介绍的方法无法有效计算不同载荷的循环次数。目前常用雨流计数法统计不同幅值载荷相应的循环次数，但该方法无法在线实时求解。针对这一问题，请建立数学模型，实现对风机的两种不同元件（主轴和塔架）任意时段累积疲劳损伤程度量化指标的实时计算；本题提供100个时长为100s的塔架
【24华为杯数模研赛赛题思路已出】国赛E题第二套思路丨附参考代码丨免费分享
RS_handy的博客
09-21 880
量化启用应急车道的作用，采用多元回归分析，添加自变量：是否开启车道，以拥堵系数为因变量进行数据拟合，以验证视频数据的内容。聚类模型的建立，我们对问题一的公式建立聚类模型，采用硬聚类对数据进行是否进行应急车道开启的依据，同时为-我们要充分考虑成本，应急车道应该以30分钟为时间段进行决策。量化结果，并进行分级，同时给出修正后的公式随时间的变化结果，得到拥堵状态，最后验证视频的验证所建模型的有效性。建立逻辑回归模型，以是否开启车道为因变量，相关变量为自变量，进行逻辑回归模型的建立，同时验证指标之间的重要性。
AI创意编程赛赛项说明.pdf
04-19
这份《AI创意编程赛赛项说明》文件详细阐述了比赛的各个环节，旨在为参赛选手提供一份完整而明确的赛事指导。 比赛以“成长、创新与AI未来生活”为主题，旨在鼓励学生深入思考人工智能技术如何改善和丰富人类生活，...
2020第九届数学中国数学建模国际赛赛前通知和论文模板.zip
01-30
总的来说，"2020第九届数学中国数学建模国际赛赛前通知和论文模板.zip"不仅是一份论文模板，更是一个学习和实践LaTeX的宝贵资源。通过深入理解和运用这份模板，参赛者可以在比赛中展现出高水平的学术素养和严谨的...
3位Committer，12场国内外技术实践，2016中国Spark技术峰会议题详解
zhong930的博客
04-21 1841
源于2014年，由优快云主办的中国Spark技术峰会已成功举办两届，而到了2016年，峰会更得到了Spark护航者Databricks的支持，所有议题均由Databricks联合创始人兼首席架构师Reynold Xin及峰会主席陈超联合把关。会议将于5月15日北京拉开帷幕，而在这里，笔者就将带大家初窥由Databricks、Hortonworks、Intel、Elastic、腾讯、新浪、AdMa...
SSM企业物资管理系统h3109(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
2509_93102542的博客
11-21 766
在技术实现上，国外多采用成熟的开发框架和技术架构，注重系统的安全性、稳定性和可扩展性，同时积极融入大数据、人工智能等新技术，实现物资需求预测、智能库存优化等功能。基于此，开发一套基于SSM框架的企业物资管理系统，整合部门、员工、物资及各类业务流程管理功能，实现物资管理的数字化、规范化和高效化，成为解决企业物资管理痛点的必然需求。本课题旨在开发一套基于SSM框架的企业物资管理系统，围绕部门、员工、物资信息、物资申请、消息提醒、物资归还、物资入库、意见反馈八大核心功能模块，实现企业物资管理的全流程数字化。
2025最新 SpringCloud 教程，Nacos-总结，笔记19
最新发布
Rockandrollman的博客
11-25 119
2025最新 SpringCloud 教程，Nacos-总结，笔记19
Java原生网络编程-BIO与NIO
照母山挖洋芋
11-24 747
摘要：本文对比了Java原生JDK中的BIO(阻塞I/O)和NIO(非阻塞I/O)网络编程模型。BIO采用"一连接一线程"模式，存在线程资源浪费和性能瓶颈问题，可通过线程池优化为伪异步I/O模型。NIO通过Selector、Channel和Buffer三大核心组件实现非阻塞通信，支持单线程管理多个通道。重点介绍了NIO的Reactor模式、事件类型(OP_READ/OP_WRITE等)及服务端/客户端的不同关注点，展示了NIO相比BIO在高并发场景下的优势。（149字）
spring全局懒加载(default-lazy-init)导致的afterPropertiesSet不执行问题
豆豆的博客
11-21 555
Spring配置default-lazy-init="true"会导致所有Bean延迟初始化，影响afterPropertiesSet方法的执行时机。解决方案包括：1)为关键Bean显式设置lazy-init="false"；2)使用@Lazy(false)注解；3)编程式强制初始化；4)使用DependsOn控制顺序。最佳实践建议分层配置策略，核心组件立即初始化，业务组件懒加载，并通过配置文件分离和环境区分优化配置。实际应用中，Web应用的请求处理相关Bean和批处
Java集合框架实战：构建高效的企业管理系统
2402_83075343的博客
11-23 985
本文通过两个企业管理系统案例，详细解析了Java集合框架的核心应用。员工部门管理系统采用HashMap实现部门与员工的高效映射，具备智能添加、快速查询和动态统计功能；商品库存管理系统基于ArrayList实现精细化管控，包含智能录入、库存预警和价格排序等特性。文章对比了HashMap和ArrayList的特性差异，提供了集合选型的最佳实践，并探讨了系统扩展方向。这两个实战案例展示了集合框架在企业应用中的实际价值，为开发者掌握Java集合提供了实用参考。
Spring Boot 中使用 @Transactional 注解配置事务管理
2509_94007314的博客
11-21 1463
下面分别介绍一下的几个属性。
Spring Boot与MyBatis
2509_94083104的博客
11-23 967
Spring Boot是一个用于创建独立的、基于Spring的生产级应用程序的框架，它简化了Spring应用的初始搭建以及开发过程。MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。将Spring Boot和MyBatis结合使用，可以高效地开发数据驱动的应用程序。
2025最新 SpringCloud 教程，教程简介，笔记01
Rockandrollman的博客
11-24 65
2025最新 SpringCloud 教程，教程简介，笔记01
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值