【线上沙龙直播报名】Spark聚合操作深入浅出

原创 于 2017-10-12 20:24:19 发布 · 2.4k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本次线上分享由美团点评技术团队主办，重点介绍了Spark在大数据场景中的应用，特别是针对数据聚合原理、内存开销及调优建议等内容进行了深入探讨。讲师金星通过实战案例帮助听众更好地理解和掌握Spark的技术要点。


点击上方蓝字，可以订阅哦


【美团点评技术沙龙Online】是美团点评技术团队推出的线上分享课程，每月2-3期，采用目前最火热的线上直播形式，邀请美团点评技术专家，面向互联网技术从业人员，分享一线实战经验，搭建线上技术分享平台。


时间、地点


时间：2017年10月19日 周四 20:00-21:00


地点：斗鱼直播


主题简介


Spark被广范应用于数仓生产等多种大数据场景，具有高效的计算速度和资源利用效率，但面对特殊数据场景，往往要求开发者深入理解分布式计算原理，才能得心应手；


本次talk主要介绍Spark作业执行过程中的数据聚合原理，内存开销，以及调优建议。


主题：Spark聚合操作深入浅出


讲师简介

0?wx_fmt=jpeg

金星

2016年加入美团点评，技术工程部离线计算组工程师，致力于数据仓库分布式计算和存储的可靠性，高效性；对于Spark有比较深入的了解。


报名方式


报名方式戳“阅读原文”

博客
AI Coding与单元测试的协同进化：从验证到驱动
12-05 469
AI生成代码质量难以把控！本文分享来自美团的技术实践，三大策略破解AI编程痛点。单测快速验证逻辑正确性，安全网保护存量代码演进，TDD模式精准传递需求。告别「看起来没问题」的错觉，构建AI时代的代码质量保障体系。
博客
复旦 NLP&美团 LongCat 联合提出长程推理能力评测与增强新框架
11-27 63
基于此方法，我们构建了R-HORIZON Benchmark用于系统性评估 LRMs 的多步推理能力，同时生成了长链推理训练数据，通过强化学习（RLVR）提升模型性能。所有模型随问题数量增加均出现明显性能下降。这些真实场景要求模型具备跨任务的长链推理能力——不仅要解决单个子问题，更要在多个关联任务间保持推理—致性、合理分配计算资源、实现跨步骤的反思与纠错。R-HORIZON 提出了问题组合（Query Composition）方法，通过构建问题间的依赖关系，将孤立任务转化为复杂的多步骤推理链。
博客
LongCat 发布 AMO-Bench：重新定义 LLM 数学上限
11-27 61
参照国际数学竞赛官方竞赛大纲，题目被划分为五大类：代数方程与不等式（11 题，占比 22%）、函数与数列（13 题，占比 26%）、几何（5 题，占比 10%）、数论（9 题，占比 18%）、组合数学（12 题，占比 24%），覆盖数学奥赛核心知识点，考察模型在不同领域是否存在能力短板。表现最优的 GPT-5-Thinking（High）正确率仅 52.4%，且大部分模型表现低于 40%，即便头部闭源模型，也未突破 “及格线”，凸显 IMO 级难度的原创题对当前 AI 的挑战性；
博客
美团 LongCat Interaction 团队发布大模型交互系统技术报告 WOWService
11-20 95
LongCat团队正式发布——「WOWService 大模型交互系统技术报告」，深度拆解了 「数据与知识双驱动」「自我优化训练」「四阶段训练流水线」「多 Agent 协同」 四大核心技术框架，希望对行业发展提供参考与启发。
博客
美团开源LongCat-Audio-Codec，高效语音编解码器助力实时交互落地
11-14 906
针对 Speech LLM 落地中的音频处理难题，美团 LongCat 团队正式开源专用语音编解码方案 LongCat-Audio-Codec。真正让语音大模型既 “听懂” 语义，又能够“说清” 。
博客
美团 LongCat 团队发布全模态一站式评测基准UNO-Bench：揭示单模态与全模态能力的组合规律
11-13 93
该基准通过科学的评测框架，首次揭示了多模态智能并非简单的线性叠加，而是遵循着一种乘积规律，这一规律在能力较弱的模型上体现为瓶颈限制，而在顶尖模型上则表现为协同增益的特性，这个全模态大模型的“组合定律”为行业提供了一种全新的、跨越模型规模的分析范式。为实现自动化评估，LongCat团队还提出了一个通用评分模型，通过对问题类型进行细分（如图7所示），并结合人工和自动标注多轮质量迭代的数据集（如图6所示），使其能够支持6种通用问题类型的自动评分，在分布外的模型和基准测试中达到了95%的准确率。
博客
LongCat-Flash-Omni正式发布并开源：开启全模态实时交互时代
11-03 762
LongCat-Flash系列再升级，美团正式发布全新家族成员——LongCat-Flash-Omni，在文本、图像、视频理解及语音感知与生成等关键单模态任务中，均展现出极强的竞争力。LongCat-Flash-Omni 是业界首个实现 “全模态覆盖、端到端架构、大参数量高效推理” 于一体的开源大语言模型。
博客
VitaBench：基于复杂生活场景的交互式 Agent 评测基准
11-03 129
美团 LongCat 团队正式发布当前高度贴近真实生活场景、面向复杂问题的大模型智能体评测基准——VitaBench（Versatile Interactive Tasks Benchmark）。VitaBench 以外卖点餐、餐厅就餐、旅游出行三大高频真实生活场景为典型载体，构建了包含 66 个工具的交互式评测环境，并进行了跨场景的综合任务设计。
博客
LongCat-Video 视频生成模型正式发布，探索世界模型的第一步
10-27 145
作为基于 Diffusion Transformer（DiT）架构的多功能统一视频生成基座，LongCat-Video 创新通过 “条件帧数量” 实现任务区分 —— 文生视频无需条件帧、图生视频输入 1 帧参考图、视频续写依托多帧前序内容，原生支持三大核心任务且无需额外模型适配，形成 “文生 / 图生 / 视频续写” 完整任务闭环。同时，从根源规避色彩漂移、画质降解、动作断裂等行业痛点，保障跨帧时序一致性与物理运动合理性，完美适配数字人、具身智能、世界模型等需要长时序动态模拟的场景需求。
博客
ICCV 2025 | 美团论文精选及多模态推理竞赛冠军方法分享
10-24 1190
本文介绍了美团技术团队在国际顶会ICCV 2025中发表的5篇论文。同时，在ICCV 2025 举办的多模态推理竞赛中，美团基础研发平台/计算和智能平台组建的ActiveAlphaAgent团队，斩获赛题1真实场景视觉定位（VG-RS）冠军，赛题2空间感知视觉问答（VQA-SA）季军和赛题3创意广告视频视觉推理（VR-Ads）季军。本文也分享了这三道赛题的解题思路，希望相关研究能给同学们带来一些帮助或启发。
博客
IROS 2025 | 美团机器人研究院学术年会，具身智能大咖观点交锋
10-24 199
在深圳市科技创新局的指导下，美团机器人研究院与清华大学深圳国际研究生院联合举办「2025年美团第三届低空经济智能飞行管理挑战赛」，本届大赛以视觉语言导航在空地协同中的应用探索为赛题，开设「性能赛」与「创意赛」两大赛道，面向全球高校开放，吸引384名学生报名，最终15支参赛队伍脱颖而出，并在今年首次举办了性能赛线下决赛。这一主题，针对第一性是什么、软硬件的关系与协同、具身数据的多样性与质量、未来机器人的核心特质等问题展开深度对话，为现场热情高涨的年轻学子带来诸多启发。《人工智能时代的机器人感知、规划和控制》
博客
从0到1建设美团数据库容量评估系统
10-16 692
美团数据库团队推出了数据库容量评估系统，旨在解决数据库容量评估与变更风险防控等领域难题。本文介绍了系统架构和主要功能：系统使用线上流量在沙盒环境回放验证变更安全，结合倍速回放技术探测集群性能瓶颈，构建容量运营体系实现集群容量观测与治理闭环。系统具备数据操作安全、结果真实可靠、灵活高效赋能等特点，有效提升数据库稳定性与资源利用率。
博客
可验证过程奖励在提升大模型推理效率中的探索与实践
10-09 176
美团业务研发搜推平台部算法团队创新提出可验证过程奖励机制（VSRM），针对大模型推理中的冗余回复与过度思考问题，精准奖励有效推理步骤，显著缩减输出长度并提升推理效率。VSRM通过步骤级正确率增益评估，有效抑制无效步骤，兼容主流强化学习算法，助力高效、可靠的复杂推理任务。
博客
LongCat-Flash-Thinking 正式发布，更强、更专业，保持极速！
09-22 251
为了克服当前开源通用大型语言模型在形式化证明任务中的不足，我们针对形式化推理设计了一套全新的基于专家迭代框架的数据合成方法，该流程利用集成了 Lean4 服务器的专家迭代框架，生成经过严格验证的证明过程，从而系统性提升模型的形式化推理能力。LongCat-Flash-Thinking 在 MiniF2F-test 基准中的 pass@1 获得67.6的分数，大幅领先所有其他参与评估的模型，在 pass@8 和 pass@32 中同样保持了领先优势，凸显其在生成结构化证明和形式化数学推理方面的绝对优势。
博客
开源 | InfiniteTalk：无限长虚拟人视频生成的新范式
09-22 1916
​目前，已在 GitHub 开源并获 1.6K Stars, Hugging Face 月下载量 64.8K，受到了很多好评，能够应用到电商直播、教育、影视等领域。
博客
LongCat-Flash：如何使用SGLang部署美团Agentic模型
09-11 883
SGLang 团队是业界专注于大模型推理系统优化的技术团队，提供并维护大模型推理的开源框架SGLang。近期，美团M17团队与SGLang团队一起合作，共同实现了LongCat-Flash模型在SGLang上的优化。欢迎大家体验。
博客
美团正式发布并开源 LongCat-Flash-Chat，动态计算开启高效 AI 时代
09-01 1903
我们正式发布 LongCat-Flash-Chat，并同步开源。LongCat-Flash 采用创新性混合专家模型（Mixture-of-Experts, MoE）架构，总参数 560 B，激活参数 18.6B~31.3B（平均 27B），实现了计算效率与性能的双重优化。
博客
美团 M17 团队开源 Meeseeks 评测集：揭秘大模型的 “听话”能力
08-28 1196
针对大模型知识推理能力与指令遵循能力存在表现差异的现象，为推进指令遵循能力的系统化研究与精准评估，美团 M17 团队推出全新评测基准 Meeseeks，并在魔搭社区、GitHub、Huggingface等开源平台上线。
博客
可信实验白皮书系列08：开放式分析引擎 | 附PDF合集下载
08-21 866
本篇为《可信实验白皮书》系列的最后一篇内容，主要分享了AB实验分析方法库在美团的实践。同时，我们也为大家准备了一份该系列全集的PDF文档，希望能够帮助到更多从事AB实验工作的同学们。
博客
美团智能头盔研发实践系列01：硬件设计篇
08-14 1551
本文系《美团智能头盔研发实践》系列的第一篇文章，聚焦硬件设计维度。针对外卖骑手传统头盔佩戴体验不佳等痛点，从安全保障、体验优化、效率提升三大方向切入，详细解析安全防护、多传感器预警、通风减重、长效续航、音频降噪、工艺控制等关键技术，并提炼研发过程中行之有效的设计经验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值