腾讯云助力火花思维成功升级高性能向量化计算引擎Meson

云计算平台应用实践——云计算与云平台 本文系统剖析云服务平台主流架构,梳理清楚云计算与云平台的关系,详解IaaS、PaaS、SaaS三大服务模式及其技术核心。重点分析公有云、私有云与混合云三种部署架构,并对比AWS、Azure、GCP等国际巨头及阿里云、华为云、腾讯云等国内主力平台的定位、优势与适用场景,为云平台选型提供全面参考。 阅读详情

点击蓝字⬆ 关注我们

本文共计1369字 预计阅读时长5分钟

摘要

腾讯云高性能向量化计算引擎Meson助力火花思维成功实现无感加速Spark负载,复杂聚合任务性能提升2.67倍,性能提升结合弹性调度实现降本30%。

业务背景

火花思维作为国内领先的在线教育平台,专注于儿童数理思维培养,其业务涵盖实时互动课程、个性化学习推荐、海量用户行为分析等场景。2024年10月火花思维完全迁移至腾讯云数据湖计算(DLC),实现大数据平台Serverless化。

随着业务复杂度提升,Spark架构在复杂查询中存在CPU利用率低、任务执行时间长等问题。面对2025年"成本优化30%"的战略目标,腾讯云大数据团队向火花思维推荐了腾讯云自主研发的Meson高性能向量化计算引擎,为SparkSQL工作负载和DataFrame API提供无感加速。

Meson高性能向量化计算引擎

腾讯云DLC产品于2024年10月上线 Meson高性能向量化计算引擎,为SparkSQL工作负载和DataFrame API提供无感加速,有效降低总成本。Meson 完全兼容Apache Spark API ,业务代码零改造。

Meson Spark的核心优势:  

  • 极致性能:基于C++构建,采用先进的Pipeline执行模型、向量化及自适应优化技术。核心算子(Join/Agg/Sort等)性能提升3~10倍,Scan Shuffle场景也有显著效果。在1TB TPC-DS测试中,性能达社区版Spark的 2.7倍 ,CPU消耗显著降低,瓶颈由CPU转向IO。

  • 无缝兼容:兼容Spark SQL及DataFrame API,提供算子级Fallback机制,迁移风险极低。

  • 产品化成熟:深度集成于DLC产品,提供开箱即用的上下游兼容与优化。

升级过程

Meson的Fallback机制虽保障兼容性,但过量Fallback(函数不兼容时回退至Spark原生执行)可能因跨语言内存拷贝带来额外开销,甚至导致作业负收益。因此,迁移前需确保整体兼容性达标。

腾讯云与火花思维共同制定了严谨的迁移流程:

协助火花验证迁移过程中,Meson在兼容性、稳定性以及Fallback方面都遇到了工程化挑战,我们通过构建兼容性评估工具、内存优化以及主动Fallback等方式优化了作业迁移体验。

挑战1:未知兼容性问题拉长测试周期

业务双跑虽然能发现兼容性问题,但是会依赖客户侧配合,反复沟通导致兼容性测试周期拉长,项目周期不可控。

解决方案:打造Event log分析工具和Fallback Precheck插件帮助客户提前评估作业兼容性。

  • Event log分析:分析现集群日志,无需变更。基于event log解析SQL执行情况,产出函数的兼容性报告。

  • Precheck机制:已部署Meson的集群,无需业务改造或者业务双跑即评估兼容性情况。尝试将Spark physical plan转换为Native plan通过Event log输出Fallback的情况,最终使用Spark plan执行通过Event log分析函数、算子兼容性情况。

挑战2:物理内存占用过高

Meson Spark的架构下,Java和C++程序会共存,两者内存分配方式完全不同。虽然Meson通过MemoryManager对内存进行了逻辑层面的统一管理,但是两种语言共存还是会造成物理内存过高的占用。

解决方案:优化物理内存池降低RSS峰值,在火花业务场景下,最多降低了46%的RSS峰值。

挑战3:特定场景行为差异(如JSON函数)

Meson的JSON函数是SIMDJson实现的,在面对异常JSON数据的处理时,跟Spark的JSON函数行为可能会存在差异。

解决方案:提供作业级主动Fallback机制,允许客户在作业级别对特定函数主动触发Fallback,有效降低数据兼容性风险。

升级收益

历时2个月,火花思维成功迁3000+作业至Meson引擎,实现成本和性能协同收益:

  • 性能提升:复杂聚合任务耗时从40分钟降至15分钟以内,性能提升2.67倍。

  • 成本优化:Meson带来的性能提升结合DLC弹性资源调度,实现整体成本降低30%。

总结和展望

火花思维升级实践验证了Meson在复杂生产环境的可靠性。配套开发的Spark Event Log分析工具和兼容性预检插件,使兼容性评估效率提升80%。Meson下阶段将聚焦深度兼容性优化、算子性能极限突破、统一内存池架构升级和智能调优体系构建,持续打造高性能计算能力。

腾讯云DLC和EMR产品已助力多家客户通过Meson实现效能升级。点击文末“阅读原文”了解腾讯云Meson高性能向量化查询引擎,获得更高性能的Spark计算体验。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧

chrome-headless-shell-mac-x64-160.0.8160.0(Canary).zip 内容概要:Chrome for Testing 官方 chrome-headless-shell 160.0.8160.0 x64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:x64 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①无头浏览器(Playwright/Puppeteer/Selenium 无界面自动化与爬虫的运行内核);②服务器/容器离线内置;③版本精准匹配(chromedriver 与 Chrome 需同大版本)。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。 立即下载

相关推荐

多智能体-系统-形成-控制 附matlab代码.rar

多智能体-系统-形成-控制 附matlab代码.rar

AutoDev 1.1.3 登场,个性化 AI 辅助:私有化大模型、自主设计 prompt、定义独特规则...

在过去的半个月里,我们为开源辅助编程工具 AutoDev 添加了更强大的自定义能力,现在你可以:使用自己部署的开源大模型自己配置 Intellij IDEA 中的行为自定义开发过程中的规范当然了,如果您自身拥有开发能力的话,建议您自己基于 AutoDev 定制。毕竟,为 AutoDev 添加太多的自定义能力,会导致架构的复杂性螺旋上升。AutoDev 现在已支持多语言(不同语言能力有所差异)、多 ...

Phodal's zenthink 2455

具有PWM控制VSC-HVDC链路的IEEE30总线传输系统(Simulink仿真实现)

内容概要:本文构建了一个包含PWM控制VSC-HVDC链路的IEEE30节点电力传输系统,并基于Simulink平台完成了系统的建模仿真。该模型聚焦于高压直流输电(HVDC)技术在区域电网互联中的应用,采用电压源型换流器(VSC)与脉宽调制(PWM)技术实现高效、灵活的电能传输。研究重点在于分析VSC-HVDC链路在复杂多节点电网中对潮流分布、系统稳定性及电能质量的调控能力,特别关注其在区域电网互联、新能源大规模接入以及跨区域电力交换等场景下的动态响应特性与控制性能,为现代智能电网的发展提供技术支撑与仿真验证手段。; 适合人群:具备电力系统、电气工程或自动化等相关专业背景的研究生、科研人员及工程技术人员。; 使用场景及目标:①用于研究VSC-HVDC在多节点电网(如IEEE30节点)中的建模与仿真方法;②分析PWM控制策略下HVDC链路对电网潮流分布、电压稳定性和故障穿越能力的影响;③为区域电网互联、新能源并网及智能电网调度等课题提供仿真基础和技术验证。; 阅读建议:此资源以Simulink仿真实现为核心,建议读者在掌握电力电子技术和电力系统分析基础知识的前提下,结合仿真模型深入理解VSC-HVDC的工作原理与控制策略。在学习过程中,应着重关注模型参数设置、控制环路设计及仿真结果的分析,以达到理论与实践相结合的目的。

<span class=“js_title_inner“>腾讯云助力火花思维成功升级高性能向量化计算引擎Meson</span>

Meson的Fallback机制虽保障兼容性,但过量Fallback(函数不兼容时回退至Spark原生执行)可能因跨语言内存拷贝带来额外开销,甚至导致作业负收益。因此,迁移前需确保整体兼容性达标。协助火花验证迁移过程中,Meson在兼容性、稳定性以及Fallback方面都遇到了工程化挑战,我们通过构建兼容性评估工具、内存优化以及主动Fallback等方式优化了作业迁移体验。Meson的JSON函数是SIMDJson实现的,在面对异常JSON数据的处理时,跟Spark的JSON函数行为可能会存在差异。

cloudbigdata的博客 603

基于KDE-CDF置信带的不确定综合能源系统鲁棒调度优化研究(Matlab代码实现)

内容概要:本研究针对不确定综合能源系统中的鲁棒调度优化问题,提出一种基于核密度估计-累积分布函数(KDE-CDF)置信带的建模方法,用以精确刻画风能、光伏及负荷等不确定性因素的非正态概率分布特征。通过构建KDE-CDF模型,能够有效捕捉实际运行中新能源出力与负荷需求的波动性与随机性,并在此基础上设计鲁棒优化调度框架,提升系统在不确定性环境下的运行可靠性与经济性。该方法结合Matlab编程实现,综合考虑系统运行成本、峰谷差、碳排放等多重目标,实现多维度协调优化。研究还探讨了与智能优化算法(如粒子群算法)相结合的应用路径,增强了模型的求解效率与工程实用性,为含多种储能装置、电转气设备及碳捕集系统的复杂综合能源系统提供了科学的调度决策支持。; 适合人群:具备电力系统分析、优化理论基础及Matlab编程能力的研究生、科研人员,以及从事综合能源系统规划、运行与调度工作的工程技术人员。; 使用场景及目标:①解决高比例可再生能源接入背景下综合能源系统调度中的不确定性建模难题;②提升调度方案在面对新能源强波动性时的鲁棒性与适应能力;③为融合多类型灵活性资源(如储能、电转气、碳捕集)的综合能源系统提供精细化、可落地的优化运行策略。; 阅读建议:建议读者在掌握概率统计、随机优化与电力系统运行基础知识的前提下,结合文中提供的Matlab代码进行实践操作,重点关注KDE-CDF置信带的构建流程及其在鲁棒优化模型中的嵌入机制,通过调整输入数据分布、参数设置与场景配置开展仿真对比实验,深入理解不确定性建模精度对调度决策质量的影响,进而掌握从数据驱动角度提升系统鲁棒性的关键技术路径。

Isaac Sim 6 利用Replicator实现高效语义分割与实例分割(实践指南5.10)

本文详细介绍了如何利用Isaac Sim 6的Replicator工具高效生成语义分割和实例分割数据集。通过虚拟环境自动标注,效率提升20倍以上,特别适用于农业机器人等计算机视觉项目。文章包含环境配置、场景构建、批量标注技巧及实例分割处理等实战指南,帮助开发者快速掌握合成数据生成技术。

weixin_42526415的博客 268

腾讯云推出物理AI平台—格物(XPhysis),让AI从理解世界走向改变世界

2026 腾讯全球数字生态大会大数据专场在深圳举行。腾讯云大数据基础产品总经理程彬在会上推出面向 Physical AI 场景的物理 AI 平台——格物(XPhysis):腾讯云把过去一年服务数十家具身与智驾客户的工程实践,沉淀为多模态 AI 数据湖 TCLake,并进一步推出覆盖物理 AI 工程全链路的 TCLake 格物(XPhysis)平台,致力于"让 AI 从理解世界走向改变世界"。

cloudbigdata的博客 153

一个开源的AI数据分析工具,与数据对话,一键生成SQL、图表、表格、报告和智能商业分析。

Wren AI是一个开源的AI智能代理,让用户能够跟数据对话,实现从文本到SQL的转换,还能生成图表、电子表格、报告以及商业智能分析。它支持多种语言,能深入挖掘数据价值,提供智能数据探索功能,通过语义索引和精心设计的界面,让用户无需写代码即可获取洞察。Wren AI采用独特的架构,包含Wren UI、Wren AI Service和Wren Engine三大核心服务,可部署在本地或云端,助力团队高效、安全地解锁数据潜力。

AI_Charlotte的博客 4501

GPU 平台哪家服务更好?智星云、阿里云、腾讯云,从开机前比到项目结束

如果是个人或小团队,主要做短期训练、AI 内容制作和模型验证,:缺货时可以提前配置并预约,遇到问题有 7×24 小时工单,结束实例前也能明确选择是否保留磁盘。已有企业运维体系、需要提前收到维护通知的团队,可以重点比较;已有腾讯云 CVM 环境、希望沿用现有监控和故障处理流程,则可以优先看。三家的服务侧重点不同。客服回复得快、技术人员能定位故障、平台能及时提供替代资源,是三件不同的事。比较时,最好看:缺货时能否安排资源,任务变慢时能否缩小排查范围,项目结束时能否保住数据并停掉不需要的费用。

weixin_38978741的博客 199

搭建云平台 1 Day 虚拟机安装(超详细)

点击OFF 那个按钮看看网络的地址和速度有没有显示,如果有 则到目前为止都是成功的。Host name随便起一个名字就行了**-_-**文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新**,如果我们安装的VMware14就会默认为。因为我的是VMware16,所以默认。也是可以的,但是千万不要用。

2401_84009679的博客 563

Switch游戏安装新思路:抛弃Commander One,试试这款免费的Mac神器OpenMTP

本文介绍了Mac用户安装Switch游戏的新选择——免费工具OpenMTP,对比收费软件Commander One,OpenMTP在MTP连接稳定性和文件管理上更具优势。详细解析了OpenMTP的安装配置、核心功能及实战操作,帮助用户高效完成游戏安装,特别适合已破解并安装DBI的Switch用户。

weixin_30664051的博客 592

企业大模型RAG知识库从0到1搭建指南:腾讯云ADP+JOTO实战

很多企业想做RAG知识库,一上来就问"用什么向量数据库"、“切片大小设多少”。但真正落地的时候才发现,技术选型只占30%,剩下70%的工作量在知识治理、权限设计和运营维护上。这篇文章基于腾讯云ADP的RAG知识引擎能力,结合JOTO在多家企业的落地经验,把从0到1搭建知识库的完整路径拆开讲清楚。

Kari11的博客 339

同态加密与SEAL库实战:CKKS参数调优避坑指南

本文深入探讨了同态加密技术中CKKS方案的参数调优实践,重点解析了SEAL库中`poly_modulus_degree`、`coeff_modulus`和`scale`三大核心参数的配置技巧与避坑指南。通过实战案例展示了如何平衡计算深度、精度与性能,为开发者提供了一套完整的参数优化方法论,帮助避免常见的'scale out of bounds'等错误,显著提升同态加密应用的可靠性和效率。

weixin_29315569的博客 230

Debian 11/12 安装 Docker 完整教程(官方源 + 腾讯云实测)

本文基于Debian11/12系统,在腾讯云CVM上实测部署Docker官方稳定版。通过添加官方GPG密钥与软件源,安装Docker核心组件,并配置腾讯云镜像加速及日志轮转(单个日志最大100MB,保留3个),有效防止磁盘被日志占满。全程使用Docker官方源,确保版本稳定安全。适用于云服务器或本地环境,若非腾讯云,可跳过镜像加速步骤,替换为其他国内镜像源。

2501_94567985的博客 238

内存泄漏系列专题分析之二十一:高通相机CamX内存泄漏&内存占用分析--GPU内存拆解

通过上述debug方式,可以看到patch补丁可以顺利debug各种ION内存分布,可以通过它分析ION内存占用问题。同时我们还可以分析GPU内存泄漏问题,同样的方式可以看到所有的GPU内存分布,如果某个GPU内存持续增长,就极有可能内存泄漏,然后更具堆栈信息去分析代码,并解决GPU内存泄漏问题。!!

456

AI技术在电商中的实际应用

人工智能、电商、推荐系统、个性化、机器学习、深度学习 1. 背景介绍 电子商务行业近年来发展迅速,用户数量不断增长,商品种类日益丰富。然而,随着市场竞争的加剧,电商平台面临着如何提升用户体验、提高转化率、挖掘潜在商机等一系列挑战。人工智能(AI)技术作为一种新兴技术,凭借其强大的数

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 1741

腾讯云发布基于第六代AMD EPYC处理器的SA10云服务器实例

AMD EPYC 9006 系列基于全新 “Zen 6” 核心微架构,并采用先进的 2nm 制程技术,最高可提供 256 个核心和 512 个线程,同时支持 16 通道 DDR5 内存、并支持最高 12,800 MT/s MRDIMM 以及 PCIe 6.0,旨在为下一代云计算、企业应用、高性能计算和 AI 工作负载提供更强大的平台基础。这对于 AI 尤其重要。双方的合作不仅聚焦于处理器本身,更覆盖硬件与软件层面的协同优化,以满足通用企业应用、数据库、游戏、广告与推荐,以及 AI 等多样化工作负载的需求。

szqx2025的博客 357

5.4 GTT BO的内存分配分析

本文分析了AMD GPU驱动中的GTT技术实现。GTT作为GPU页表,负责管理主机内存与GPU虚拟地址的映射,支持大容量内存访问和统一寻址。文章详细介绍了GTT的核心数据结构amdgpu_gtt_mgr、初始化流程,以及BO(Buffer Object)创建时GTT区间的分配与释放机制。GTT管理通过TTM框架实现分层设计,提供内存统计、兼容性检查等接口,并支持动态迁移、多进程隔离等高级特性。该机制为AMD GPU提供了高效灵活的内存管理基础。

图形/计算GPU的驱动与虚拟化技术分享园地 3740

域名证书自动化:acme.sh + 腾讯云/七牛 CDN 部署流水线

用 acme.sh 签发一张多 SAN 证书,靠 --reloadcmd 钩子自动部署到腾讯云 CDN 与七牛 CDN,cron 每 6 小时巡检,附验收命令与踩坑记录。

east4ming的博客 111

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

四川大学alkaerr战队夺冠,第三届腾讯云智能攻防挑战赛收官

从开源大模型的底层去审查、自进化的执行系统环境,到端云协同的本地算力部署,再到针对真实业务场景的漏洞挖掘与多智能体协作,专家们带来了多场技术实践分享。过去一年,AI从“能对话”到“会执行”,以WorkBuddy为代表的AI办公智能体,在个人生产力提效方面的价值已经获得充分验证,同时正在加速落地企业,通过构建坚实可信的安全底座,智能体才能跨越单点工具的限制,成为真正可托付的“数字助理”。,第三届腾讯云智能攻防挑战赛,将挑战从自主渗透、复杂网络突破,推进到多Agent同场攻防。智能攻防挑战赛决赛最终排名。

RPA中国 138

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

腾讯云国际站代理商:CVM公网SSH无法访问,从客户端到服务器逐项排查

腾讯云国际站CVM SSH连接失败常见于安全组、防火墙、SSH服务或认证配置问题。需按“网络→安全组→系统防火墙→sshd服务→账号密钥”顺序排查,区分报错类型(如timeout、denied)精准定位。即使安全组放行,仍可能因系统防火墙、端口未监听或密钥错误导致失败。建议通过VNC登录检查配置,使用ss -lntp、systemctl status ssh等命令验证服务状态,并确保sshd_config中允许相应用户登录。

2601_96000280的博客 336

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

企业级智能体平台怎么选:腾讯云ADP与其他主流技术路线的架构对比

智能体上线后谁来评测、谁来监控、谁来迭代?如果平台本身不带AgentOps,你得自己补,补的成本要算进总投入。

Kari11的博客 403

啥是云计算?

1、云计算 (1)云计算是一种无处不在、便捷且按需对一个共享的可配置计算资源(包括网络、服务器、存储、应 用和服务等)进行网络访问的模式,它能够通过最少量的管理以及与服务提供商的互动实现计算资源的 迅速供给和释放。 (2)云计算基本特征 ①、按需服务:按需服务,自动分配资料 ②、泛在接入:随时随用,可接多种设备 ③、计费服务:根据使用量,计费 ④、弹性服务:资源弹性,规模弹性,自适动态变化。 ⑤、资源池化:资源共享统一管理,分配用户使用。 (3)云计算产生背景: 云计算这个概念首次在 2006 年 8 月的

大今野 169

云计算课程小组PPT汇报任务书

36人分为6组,每组6人;形式:生活案例调研 + 理论解读;汇报时长7‑9min;PPT建议10‑14页。

Michelle8023的博客 219

从技能大赛赛项标准反推:云计算实训室配置清单(2027版)

行业里主流的云计算教学实训平台,通常基于微服务架构(如 spring cloud)、支持 K8s 多种部署模式(公有云/混合云/私有云),底层用 MySQL、MongoDB 这类集群,对外提供统一身份认证与按需资源调度——选平台时,这条技术线要先看明白。赛项标准恰好能治这个病:它是中立的能力锚点,不绑定任何厂商,却把私有云、容器云、公有云、云安全、运维监控这几块能力边界划得很清楚。很多院校建云计算实训室,习惯走"先看预算—选厂商—堆服务器"这条路,结果设备到位了,才发现课程对不上、环境跑不起来。

whwzzc的博客 534

在职学云计算 HCIE 排时间指南:周投入测算与实验优先原则

在职备考HCIE-CloudComputing3.5,核心在于合理分配弹性时间与固定课时资源。正课15天90课时+赠送5天30课时,25组实验占大头,尤其部署扩容与Kubernetes为超线性投入。建议每周投入10-15小时:晚间直播/回放6-7.5小时,周末整块时间专注实验(≥6小时),碎片时间仅用于笔记与复盘。实验不可中断,环境需延续,报错即资产。按阶段分周推进,三个月标准周期,时间紧张者宜拉长周期。四维度自查补短板,确认环境、调整安排,执行即进度。

388
上一篇: <span class=“js_title_inner“>腾讯云WeData:中国数据治理市场份额增长第一</span>
下一篇: <span class=“js_title_inner“>腾讯云助力火花思维成功升级高性能向量化计算引擎Meson</span>
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值