<span class=“js_title_inner“>腾讯云助力火花思维成功升级高性能向量化计算引擎Meson</span>

云计算平台应用实践——云计算与云平台 本文系统剖析云服务平台主流架构,梳理清楚云计算与云平台的关系,详解IaaS、PaaS、SaaS三大服务模式及其技术核心。重点分析公有云、私有云与混合云三种部署架构,并对比AWS、Azure、GCP等国际巨头及阿里云、华为云、腾讯云等国内主力平台的定位、优势与适用场景,为云平台选型提供全面参考。 阅读详情

点击蓝字⬆ 关注我们

本文共计1369字 预计阅读时长5分钟

摘要

腾讯云高性能向量化计算引擎Meson助力火花思维成功实现无感加速Spark负载,复杂聚合任务性能提升2.67倍,性能提升结合弹性调度实现降本30%。

业务背景

火花思维作为国内领先的在线教育平台,专注于儿童数理思维培养,其业务涵盖实时互动课程、个性化学习推荐、海量用户行为分析等场景。2024年10月火花思维完全迁移至腾讯云数据湖计算(DLC),实现大数据平台Serverless化。

随着业务复杂度提升,Spark架构在复杂查询中存在CPU利用率低、任务执行时间长等问题。面对2025年"成本优化30%"的战略目标,腾讯云大数据团队向火花思维推荐了腾讯云自主研发的Meson高性能向量化计算引擎,为SparkSQL工作负载和DataFrame API提供无感加速。

Meson高性能向量化计算引擎

腾讯云DLC产品于2024年10月上线 Meson高性能向量化计算引擎,为SparkSQL工作负载和DataFrame API提供无感加速,有效降低总成本。Meson 完全兼容Apache Spark API ,业务代码零改造。

Meson Spark的核心优势:  

  • 极致性能:基于C++构建,采用先进的Pipeline执行模型、向量化及自适应优化技术。核心算子(Join/Agg/Sort等)性能提升3~10倍,Scan Shuffle场景也有显著效果。在1TB TPC-DS测试中,性能达社区版Spark的 2.7倍 ,CPU消耗显著降低,瓶颈由CPU转向IO。

  • 无缝兼容:兼容Spark SQL及DataFrame API,提供算子级Fallback机制,迁移风险极低。

  • 产品化成熟:深度集成于DLC产品,提供开箱即用的上下游兼容与优化。

升级过程

Meson的Fallback机制虽保障兼容性,但过量Fallback(函数不兼容时回退至Spark原生执行)可能因跨语言内存拷贝带来额外开销,甚至导致作业负收益。因此,迁移前需确保整体兼容性达标。

腾讯云与火花思维共同制定了严谨的迁移流程:

协助火花验证迁移过程中,Meson在兼容性、稳定性以及Fallback方面都遇到了工程化挑战,我们通过构建兼容性评估工具、内存优化以及主动Fallback等方式优化了作业迁移体验。

挑战1:未知兼容性问题拉长测试周期

业务双跑虽然能发现兼容性问题,但是会依赖客户侧配合,反复沟通导致兼容性测试周期拉长,项目周期不可控。

解决方案:打造Event log分析工具和Fallback Precheck插件帮助客户提前评估作业兼容性。

  • Event log分析:分析现集群日志,无需变更。基于event log解析SQL执行情况,产出函数的兼容性报告。

  • Precheck机制:已部署Meson的集群,无需业务改造或者业务双跑即评估兼容性情况。尝试将Spark physical plan转换为Native plan通过Event log输出Fallback的情况,最终使用Spark plan执行通过Event log分析函数、算子兼容性情况。

挑战2:物理内存占用过高

Meson Spark的架构下,Java和C++程序会共存,两者内存分配方式完全不同。虽然Meson通过MemoryManager对内存进行了逻辑层面的统一管理,但是两种语言共存还是会造成物理内存过高的占用。

解决方案:优化物理内存池降低RSS峰值,在火花业务场景下,最多降低了46%的RSS峰值。

挑战3:特定场景行为差异(如JSON函数)

Meson的JSON函数是SIMDJson实现的,在面对异常JSON数据的处理时,跟Spark的JSON函数行为可能会存在差异。

解决方案:提供作业级主动Fallback机制,允许客户在作业级别对特定函数主动触发Fallback,有效降低数据兼容性风险。

升级收益

历时2个月,火花思维成功迁3000+作业至Meson引擎,实现成本和性能协同收益:

  • 性能提升:复杂聚合任务耗时从40分钟降至15分钟以内,性能提升2.67倍。

  • 成本优化:Meson带来的性能提升结合DLC弹性资源调度,实现整体成本降低30%。

总结和展望

火花思维升级实践验证了Meson在复杂生产环境的可靠性。配套开发的Spark Event Log分析工具和兼容性预检插件,使兼容性评估效率提升80%。Meson下阶段将聚焦深度兼容性优化、算子性能极限突破、统一内存池架构升级和智能调优体系构建,持续打造高性能计算能力。

腾讯云DLC和EMR产品已助力多家客户通过Meson实现效能升级。点击文末“阅读原文”了解腾讯云Meson高性能向量化查询引擎,获得更高性能的Spark计算体验。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧

chrome-headless-shell-mac-x64-160.0.8160.0(Canary).zip 内容概要:Chrome for Testing 官方 chrome-headless-shell 160.0.8160.0 x64 平台(金丝雀版通道),原版未修改,附来源说明。 适合人群:x64 上的自动化测试工程师、爬虫开发者、CI 环境搭建者。 使用场景及目标:①无头浏览器(Playwright/Puppeteer/Selenium 无界面自动化与爬虫的运行内核);②服务器/容器离线内置;③版本精准匹配(chromedriver 与 Chrome 需同大版本)。 其他说明:Chrome for Testing 为 Google 官方发布、允许自由分发的文件;本资源为第三方整理的下载便利服务。 立即下载

相关推荐

多智能体-系统-形成-控制 附matlab代码.rar

多智能体-系统-形成-控制 附matlab代码.rar

腾讯云助力火花思维成功升级高性能向量化计算引擎Meson

Meson的Fallback机制虽保障兼容性,但过量Fallback(函数不兼容时回退至Spark原生执行)可能因跨语言内存拷贝带来额外开销,甚至导致作业负收益。因此,迁移前需确保整体兼容性达标。协助火花验证迁移过程中,Meson在兼容性、稳定性以及Fallback方面都遇到了工程化挑战,我们通过构建兼容性评估工具、内存优化以及主动Fallback等方式优化了作业迁移体验。Meson的JSON函数是SIMDJson实现的,在面对异常JSON数据的处理时,跟Spark的JSON函数行为可能会存在差异。

cloudbigdata的博客 808

具有PWM控制VSC-HVDC链路的IEEE30总线传输系统(Simulink仿真实现)

内容概要:本文构建了一个包含PWM控制VSC-HVDC链路的IEEE30节点电力传输系统,并基于Simulink平台完成了系统的建模仿真。该模型聚焦于高压直流输电(HVDC)技术在区域电网互联中的应用,采用电压源型换流器(VSC)与脉宽调制(PWM)技术实现高效、灵活的电能传输。研究重点在于分析VSC-HVDC链路在复杂多节点电网中对潮流分布、系统稳定性及电能质量的调控能力,特别关注其在区域电网互联、新能源大规模接入以及跨区域电力交换等场景下的动态响应特性与控制性能,为现代智能电网的发展提供技术支撑与仿真验证手段。; 适合人群:具备电力系统、电气工程或自动化等相关专业背景的研究生、科研人员及工程技术人员。; 使用场景及目标:①用于研究VSC-HVDC在多节点电网(如IEEE30节点)中的建模与仿真方法;②分析PWM控制策略下HVDC链路对电网潮流分布、电压稳定性和故障穿越能力的影响;③为区域电网互联、新能源并网及智能电网调度等课题提供仿真基础和技术验证。; 阅读建议:此资源以Simulink仿真实现为核心,建议读者在掌握电力电子技术和电力系统分析基础知识的前提下,结合仿真模型深入理解VSC-HVDC的工作原理与控制策略。在学习过程中,应着重关注模型参数设置、控制环路设计及仿真结果的分析,以达到理论与实践相结合的目的。

AutoDev 1.1.3 登场,个性化 AI 辅助:私有化大模型、自主设计 prompt、定义独特规则...

在过去的半个月里,我们为开源辅助编程工具 AutoDev 添加了更强大的自定义能力,现在你可以:使用自己部署的开源大模型自己配置 Intellij IDEA 中的行为自定义开发过程中的规范当然了,如果您自身拥有开发能力的话,建议您自己基于 AutoDev 定制。毕竟,为 AutoDev 添加太多的自定义能力,会导致架构的复杂性螺旋上升。AutoDev 现在已支持多语言(不同语言能力有所差异)、多 ...

Phodal's zenthink 2455

基于KDE-CDF置信带的不确定综合能源系统鲁棒调度优化研究(Matlab代码实现)

内容概要:本研究针对不确定综合能源系统中的鲁棒调度优化问题,提出一种基于核密度估计-累积分布函数(KDE-CDF)置信带的建模方法,用以精确刻画风能、光伏及负荷等不确定性因素的非正态概率分布特征。通过构建KDE-CDF模型,能够有效捕捉实际运行中新能源出力与负荷需求的波动性与随机性,并在此基础上设计鲁棒优化调度框架,提升系统在不确定性环境下的运行可靠性与经济性。该方法结合Matlab编程实现,综合考虑系统运行成本、峰谷差、碳排放等多重目标,实现多维度协调优化。研究还探讨了与智能优化算法(如粒子群算法)相结合的应用路径,增强了模型的求解效率与工程实用性,为含多种储能装置、电转气设备及碳捕集系统的复杂综合能源系统提供了科学的调度决策支持。; 适合人群:具备电力系统分析、优化理论基础及Matlab编程能力的研究生、科研人员,以及从事综合能源系统规划、运行与调度工作的工程技术人员。; 使用场景及目标:①解决高比例可再生能源接入背景下综合能源系统调度中的不确定性建模难题;②提升调度方案在面对新能源强波动性时的鲁棒性与适应能力;③为融合多类型灵活性资源(如储能、电转气、碳捕集)的综合能源系统提供精细化、可落地的优化运行策略。; 阅读建议:建议读者在掌握概率统计、随机优化与电力系统运行基础知识的前提下,结合文中提供的Matlab代码进行实践操作,重点关注KDE-CDF置信带的构建流程及其在鲁棒优化模型中的嵌入机制,通过调整输入数据分布、参数设置与场景配置开展仿真对比实验,深入理解不确定性建模精度对调度决策质量的影响,进而掌握从数据驱动角度提升系统鲁棒性的关键技术路径。

STM32F405实战:手把手教你实现永磁同步电机无感FOC控制(附完整工程文件)

本文详细介绍了基于STM32F405微控制器实现永磁同步电机无感FOC控制的完整实战方案。文章从硬件搭建、CubeMX配置入手,逐步讲解了FOC核心算法、SVPWM调制,并重点阐述了如何结合HFI高频方波注入与滑模观测器(SMO)实现全速域无感控制。内容涵盖算法原理、代码实现、参数整定及调试技巧,并附有完整工程文件,为开发者提供从理论到实践的全面指导。

sun99的博客 267

腾讯云推出物理AI平台—格物(XPhysis),让AI从理解世界走向改变世界

2026 腾讯全球数字生态大会大数据专场在深圳举行。腾讯云大数据基础产品总经理程彬在会上推出面向 Physical AI 场景的物理 AI 平台——格物(XPhysis):腾讯云把过去一年服务数十家具身与智驾客户的工程实践,沉淀为多模态 AI 数据湖 TCLake,并进一步推出覆盖物理 AI 工程全链路的 TCLake 格物(XPhysis)平台,致力于"让 AI 从理解世界走向改变世界"。

cloudbigdata的博客 153

Win7运行豆包桌面版的兼容性原理与实操方案

Windows 7作为已停止主流支持的操作系统,其与现代Electron应用的兼容性问题本质是API层面的系统调用断层。Electron 28+依赖的GetSystemTimePreciseAsFileTime、SetThreadDescription等Windows 10专属API,在Win7 SP1中天然缺失,导致‘无法定位程序输入点’等典型错误。解决路径并非简单打补丁,而是需理解底层ABI差异、补丁堆叠边界及动态API转发机制。关键技术价值在于通过兼容层(如VxKex NEXT)或运行时降级(Elec

weixin_33290540的博客 1397

GPU 平台哪家服务更好?智星云、阿里云、腾讯云,从开机前比到项目结束

如果是个人或小团队,主要做短期训练、AI 内容制作和模型验证,:缺货时可以提前配置并预约,遇到问题有 7×24 小时工单,结束实例前也能明确选择是否保留磁盘。已有企业运维体系、需要提前收到维护通知的团队,可以重点比较;已有腾讯云 CVM 环境、希望沿用现有监控和故障处理流程,则可以优先看。三家的服务侧重点不同。客服回复得快、技术人员能定位故障、平台能及时提供替代资源,是三件不同的事。比较时,最好看:缺货时能否安排资源,任务变慢时能否缩小排查范围,项目结束时能否保住数据并停掉不需要的费用。

weixin_38978741的博客 199

计算机视觉-深度学习图像检测方法梳理

计算机视觉-深度学习图像检测方法梳理 由于之后要转方向啦,趁这段时间整理手中硕士研究方向的一些阅读笔记,这是一篇关于计算机视觉的基础知识梳理 先搞清一些小知识点 首先我们要弄清楚图像分类、目标定位、语义分割、实例分割的区别 a. 图像分类 :给定一张输入图像,图像分类任务旨在判断该图像所属类别; b. 目标定位 :在图像分类的基础上,我们还想知道图像中的目标具体在图像的什么位置,通常是以包围盒的(bounding box)形式; c. 语义分割 :语义分割是目标检测更进阶的任务,目标检测只需要框出每个目

qq_41662991的博客 9954

ADS 2024 Circuit Envelope 仿真:3步配置调制源,分析5G NR EVM与ACPR

本文详细介绍了ADS 2024 Circuit Envelope仿真技术在5G NR调制源配置与关键指标分析中的应用。通过3步配置调制源,工程师可以高效评估EVM与ACPR等关键指标,特别适用于功放设计中的非线性效应诊断。文章还提供了优化仿真设置和精确提取EVM、ACPR的实用方法,助力5G射频前端设计。

weixin_28559803的博客 387

企业大模型RAG知识库从0到1搭建指南:腾讯云ADP+JOTO实战

很多企业想做RAG知识库,一上来就问"用什么向量数据库"、“切片大小设多少”。但真正落地的时候才发现,技术选型只占30%,剩下70%的工作量在知识治理、权限设计和运营维护上。这篇文章基于腾讯云ADP的RAG知识引擎能力,结合JOTO在多家企业的落地经验,把从0到1搭建知识库的完整路径拆开讲清楚。

Kari11的博客 339

告别龟速!实测Copernicus Dataspace下载Sentinel-2数据的3个提速技巧(附Workspace批量操作)

本文分享了在Copernicus Dataspace平台高效下载Sentinel-2遥感数据的3个实用技巧,包括网络传输层优化、浏览器与API调优以及Workspace批量操作。通过这些方法,用户可将下载速度提升300%以上,特别适合科研人员和团队处理大规模数据需求。

weixin_30706691的博客 180

Debian 11/12 安装 Docker 完整教程(官方源 + 腾讯云实测)

本文基于Debian11/12系统,在腾讯云CVM上实测部署Docker官方稳定版。通过添加官方GPG密钥与软件源,安装Docker核心组件,并配置腾讯云镜像加速及日志轮转(单个日志最大100MB,保留3个),有效防止磁盘被日志占满。全程使用Docker官方源,确保版本稳定安全。适用于云服务器或本地环境,若非腾讯云,可跳过镜像加速步骤,替换为其他国内镜像源。

2501_94567985的博客 238

29、5G PUCCH格式及资源配置详解

本文详细解析了5G通信系统中的物理上行控制信道(PUCCH)的不同格式及其资源配置方案。PUCCH负责传输上行控制信息(UCI),包括混合自动重传请求(HARQ)确认信息、调度请求(SR)和信道状态信息(CSI)等。文章从PUCCH的基本概念出发,深入分析了格式0到格式4的特点、编码调制方式、干扰随机化机制以及适用场景,并探讨了PUCCH资源集的配置方法和上行控制信令在PUSCH上的传输机制。通过对比不同格式的传输能力、干扰随机化方式和频率跳变能力,为读者提供了选择合适PUCCH格式的决策依据。最后,文章总

oil88的博客 252

Python从0到100完整学习指南(必看导航)

想做这件事情很久了,这次我更新了自己所写过的所有博客,汇集成了Python从0到100,共一百节课,帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、 计算机视觉、机器学习、神经网络以及人工智能相关知识,成为学业升学和工作就业的先行者!

拥有百余位万粉技术博主、200余位可合作代发博主,私域技术社群规模达千人,商务合作私信 6万+

腾讯云发布基于第六代AMD EPYC处理器的SA10云服务器实例

AMD EPYC 9006 系列基于全新 “Zen 6” 核心微架构,并采用先进的 2nm 制程技术,最高可提供 256 个核心和 512 个线程,同时支持 16 通道 DDR5 内存、并支持最高 12,800 MT/s MRDIMM 以及 PCIe 6.0,旨在为下一代云计算、企业应用、高性能计算和 AI 工作负载提供更强大的平台基础。这对于 AI 尤其重要。双方的合作不仅聚焦于处理器本身,更覆盖硬件与软件层面的协同优化,以满足通用企业应用、数据库、游戏、广告与推荐,以及 AI 等多样化工作负载的需求。

szqx2025的博客 357

本地部署中文LLaMA模型实战教程,民间羊驼模型

LLaMA大部分是英文语料训练的,讲中文能力很弱。如果我们想微调训练自己的LLM模型,基于一个大规模中文语料预训练的模型比较好。目前开源项目很多,理想的项目要有以下特点:模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。经过寻找与试验,我找到了一个比较好的项目。本博文要点如下:1 实战部分:模型下载与参数合并、模型命令行加载测试、模型部署为web网页(解决了一些报错问题)2 代码走读:模型参数合并、词表扩充3 原理分析:预训练与指令精调。

artistkeepmonkey的博客 8175

域名证书自动化:acme.sh + 腾讯云/七牛 CDN 部署流水线

用 acme.sh 签发一张多 SAN 证书,靠 --reloadcmd 钩子自动部署到腾讯云 CDN 与七牛 CDN,cron 每 6 小时巡检,附验收命令与踩坑记录。

east4ming的博客 111

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

四川大学alkaerr战队夺冠,第三届腾讯云智能攻防挑战赛收官

从开源大模型的底层去审查、自进化的执行系统环境,到端云协同的本地算力部署,再到针对真实业务场景的漏洞挖掘与多智能体协作,专家们带来了多场技术实践分享。过去一年,AI从“能对话”到“会执行”,以WorkBuddy为代表的AI办公智能体,在个人生产力提效方面的价值已经获得充分验证,同时正在加速落地企业,通过构建坚实可信的安全底座,智能体才能跨越单点工具的限制,成为真正可托付的“数字助理”。,第三届腾讯云智能攻防挑战赛,将挑战从自主渗透、复杂网络突破,推进到多Agent同场攻防。智能攻防挑战赛决赛最终排名。

RPA中国 138

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

腾讯云国际站代理商:CVM公网SSH无法访问,从客户端到服务器逐项排查

腾讯云国际站CVM SSH连接失败常见于安全组、防火墙、SSH服务或认证配置问题。需按“网络→安全组→系统防火墙→sshd服务→账号密钥”顺序排查,区分报错类型(如timeout、denied)精准定位。即使安全组放行,仍可能因系统防火墙、端口未监听或密钥错误导致失败。建议通过VNC登录检查配置,使用ss -lntp、systemctl status ssh等命令验证服务状态,并确保sshd_config中允许相应用户登录。

2601_96000280的博客 336

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

企业级智能体平台怎么选:腾讯云ADP与其他主流技术路线的架构对比

智能体上线后谁来评测、谁来监控、谁来迭代?如果平台本身不带AgentOps,你得自己补,补的成本要算进总投入。

Kari11的博客 403

啥是云计算?

1、云计算 (1)云计算是一种无处不在、便捷且按需对一个共享的可配置计算资源(包括网络、服务器、存储、应 用和服务等)进行网络访问的模式,它能够通过最少量的管理以及与服务提供商的互动实现计算资源的 迅速供给和释放。 (2)云计算基本特征 ①、按需服务:按需服务,自动分配资料 ②、泛在接入:随时随用,可接多种设备 ③、计费服务:根据使用量,计费 ④、弹性服务:资源弹性,规模弹性,自适动态变化。 ⑤、资源池化:资源共享统一管理,分配用户使用。 (3)云计算产生背景: 云计算这个概念首次在 2006 年 8 月的

大今野 169

云计算课程小组PPT汇报任务书

36人分为6组,每组6人;形式:生活案例调研 + 理论解读;汇报时长7‑9min;PPT建议10‑14页。

Michelle8023的博客 219

从技能大赛赛项标准反推:云计算实训室配置清单(2027版)

行业里主流的云计算教学实训平台,通常基于微服务架构(如 spring cloud)、支持 K8s 多种部署模式(公有云/混合云/私有云),底层用 MySQL、MongoDB 这类集群,对外提供统一身份认证与按需资源调度——选平台时,这条技术线要先看明白。赛项标准恰好能治这个病:它是中立的能力锚点,不绑定任何厂商,却把私有云、容器云、公有云、云安全、运维监控这几块能力边界划得很清楚。很多院校建云计算实训室,习惯走"先看预算—选厂商—堆服务器"这条路,结果设备到位了,才发现课程对不上、环境跑不起来。

whwzzc的博客 534

在职学云计算 HCIE 排时间指南:周投入测算与实验优先原则

在职备考HCIE-CloudComputing3.5,核心在于合理分配弹性时间与固定课时资源。正课15天90课时+赠送5天30课时,25组实验占大头,尤其部署扩容与Kubernetes为超线性投入。建议每周投入10-15小时:晚间直播/回放6-7.5小时,周末整块时间专注实验(≥6小时),碎片时间仅用于笔记与复盘。实验不可中断,环境需延续,报错即资产。按阶段分周推进,三个月标准周期,时间紧张者宜拉长周期。四维度自查补短板,确认环境、调整安排,执行即进度。

388
上一篇: 腾讯云助力火花思维成功升级高性能向量化计算引擎Meson
下一篇: Gartner发布全球数据湖仓平台市场指南:腾讯云入选,系唯一中国厂商
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值