降本30%，提速2小时！腾讯云助力火花思维大数据引擎“换挡”升级

点击蓝字⬆ 关注我们

本文共计2385字 预计阅读时长8分钟

在数字化浪潮中，大数据已成为企业竞争力的核心要素。对于在线教育企业而言，大数据更是其实现个性化教学、精准营销和高效运营的关键。火花思维，作为逻辑思维垂直赛道的佼佼者，凭借其累计超过70万的学员和遍布全球100多个国家和地区的广泛影响力，对大数据的需求日益迫切。

随着业务的迅猛发展，火花思维在大数据处理方面面临着诸多挑战。传统的大数据架构在处理海量数据时显得力不从心，查询延迟高、任务执行不稳定等问题频发，严重影响了用户体验和业务决策。同时，高昂的运维成本和复杂的运维工作也让火花思维倍感压力，如何破局？

传统大数据架构掣肘在线教育速度

早在创立之初，火花思维就选择腾讯云作为云业务的合作伙伴，打造稳定、流畅的在线课堂体验。借助腾讯云平台、音视频、AI等方面的技术能力，火花思维不断创新拓展新的课程业务，同时保障稳定、优质的服务体验，不断提升用户满意度。

在面临在线教育市场激烈的竞争中，火花思维也在充分利用大数据等技术能力，不断探索拉新拉活的新模式。

5岁的小孩更喜欢编程课还是艺术课？ 晚上开课孩子们会睡着吗？什么样的营销方法更有效？

作为一家数据驱动的在线教育企业，火花思维“报、续、转、调、退”等全部业务环节，都离不开大数据的计算分析能力。算的慢1分钟，经营效果可能就有折扣。可以说，大数据算的多快、多及时，火花思维走的就有多远。

但伴随着火花思维的发展和数据量的急剧增长，大数据工作逐渐跟不上"节奏"。

传统的Hadoop架构在处理海量数据查询和分析时往往显得力不从心。查询延迟可能长达数分钟甚至数十分钟，这使让火花思维无法及时获取市场动态和用户反馈，从而错失商机。

与此同时，大数据工具和组件越变越多，使得运维工作变得异常复杂。任何一个小组件的故障都可能影响整个系统的稳定性，进而影响到业务的正常运行。此外，存储节点故障导致的查询延迟问题也时常发生，严重影响了用户体验。

传统大数据架构的局限性，往往形成了“固定分配”的模式。无论业务是否真正需要这些资源。这种“大锅饭”式的资源分配方式导致了资源的极大浪费和成本的不确定性。例如某业务单元分配了一定额度的计算资源，只有上午有计算任务，下午几乎不用，但同样按照一整天的费用来分摊成本。

性能和成本问题成为制约火花思维大数据平台运行的核心挑战。 

换挡升级，报表时间提前2小时

为了解决上述痛点，火花思维选择了腾讯云DLC作为新的大数据处理引擎。腾讯云数据湖计算DLC(Data Lake Compute)是云原生Serverless湖仓分析服务，基于开源引擎Spark、Presto、Iceberg构建并进行了大量内核增强和创新，为火花带来高性能、高可用、低成本的全场景大数据处理服务。

首先，DLC通过智能识别小文件对任务的影响，并自动进行必要的文件合并，显著提升了任务处理速度。同时，DLC原生表内置的小文件优化策略，能够自动调起Spark引擎完成小文件合并、数据生命周期管理、Iceberg过期快照清理等操作，大大降低了运维人员的日常工作量，让他们有更多时间关注业务创新。

其次，DLC针对Spark Shuffle过程中的磁盘瓶颈问题，创新性地将Shuffle数据自适应地溢写到本地磁盘+对象存储中，成功解决了这一长期困扰大数据处理的难题。这一改进不仅增强了Spark大任务的稳定性，还减少了任务失败带来的重算开销，为火花思维节省了大量宝贵资源。

DLC还支持Local Cache和Segment Cache等技术，通过缓存热数据和算子中间结果，有效提升了任务性能。这意味着火花思维能够更快地获取市场动态和用户反馈，为业务决策提供有力支持。同时，DLC还提供了各种下推优化手段，进一步减少了数据传输和处理的开销，提高了整体运行效率。

值得一提的是，DLC计算引擎在2024年还进行了一次重大性能升级，内置大数据高性能计算引擎加速套件Meson，提供向量化、优化器、缓存等多重加速。Meson Spark完全兼容Apache Spark和Iceberg，相比开源版本可带来2-6倍性能提升。据统计，火花思维部分业务在完成Meson Spark升级后，数据产出效率显著提升，平均每日CU消耗降低约50%。

一系列技术细节的创新，让火花思维换挡升级，不仅提升了任务性能，降低了运维复杂度，还为在线教育行业带来了前所未有的数据处理新体验。根据统计，2024年迁移到DLC后，核心报表产出时间提前了2小时。

成本降低30%！“存算分离”架构打造极致性价比

除了性能提升外，腾讯云DLC还为火花思维带来了成本优化。DLC原生支持存算分离架构，使得存储和计算都可以独立伸缩，更利于精细化控制成本。

在传统大数据架构的集群中，随着时间的推移，部分节点可能会出现硬件老化和性能下降的问题，导致整个任务的执行效率降低。而在DLC存算分离架构中，这些问题得到了有效解决。DLC通过智能调度和自动扩展机制，确保任务能够高效地分配到健康的节点上，从而提高整体运行效率并降低运维成本。

同时，腾讯云DLC是一种基于共享经济的对象存储解决方案，与传统Hadoop分布式文件系统(HDFS)相比具有显著的成本优势。在基于对象存储的存算分离架构下，用户只需为实际使用的存储空间付费，无需预先购买和维护大量的存储空间。更进一步，作为Lakehouse架构产品，腾讯云DLC一份共享的湖存储可共同服务多个上层业务应用，包括大规模离线报表、基于Starrocks/Doris的毫秒级极速分析、以及各类机器学习与AI工作负载，过程中无需将数据在不同应用间频繁同步与复制，一体化开放存储进一步降低了综合存储成本。

云原生的也让DLC可以根据业务需求动态地分配和调整计算资源。在传统的Hadoop集群中，不同业务共享同一个集群资源，虽然通过Yarn可以实现较细颗粒度的多业务资源分配，但在具体实践中往往存在队列间资源难以动态合理分配、工作负载时间分布难以准确预测等痛点，仍容易导致共享集群资源的闲置和浪费。而DLC作为Serverless形态产品，通过集群共享数据和元数据的方式，使得每个业务能够拥有独立、完全按需使用和按工作负载动态弹性伸缩的集群环境。业务可根据自身需求灵活设置规格和弹性规则，通过完全按时间使用、用后即弃的方式最大限度节省成本。同时，DLC的Serverless架构下用户无需关心底层硬件的管理和维护，降低了运维复杂度和成本。

通过引入腾讯云DLC解决方案，火花思维成功解决了在大数据处理方面面临的诸多挑战。这一合作不仅提升了火花思维的数据处理能力和业务效率，还为其带来了更加广阔的发展空间和竞争优势。展望未来，随着技术的不断进步和创新应用的涌现，火花思维将继续深化与腾讯云的合作，共同推动大数据技术在在线教育领域的广泛应用和发展。

END

关注腾讯云大数据╳探索数据的无限可能

⏬点击阅读原文

了解更多产品详情

分享给认识的人吧