Spark 之道
关注
分享
扫一扫
文章平均质量分 97
“Spark 之道” 专栏，带你探寻 Spark 的核心魅力。深入剖析其强大的分布式计算能力，从数据处理到机器学习应用，全面展示 Spark 的多元价值。在这里，你将领悟 Spark 的独特之道，掌握高效大数据处理技巧。无论是新手开发者还是资深数据科学家，都能在这个专栏中找到开启 Spark 之旅的
青云交
双云专家 | 阿里云开发者社区专家博主 | 华为云云享专家
优快云 里程碑：2024 个人影响力前 17 | 博客之星 TOP23
纪录保持者：首位全区域四榜榜首 | 苏州双榜霸榜
高级工程师，大数据架构师，近 13 年技术路，深知征途不易 —— 愿以代码为桥，与同行者并肩破局，共探技术深水区。
博客专家 大数据领域优质创作者，深耕 Java、大数据、AI、Python、云原生及前端等领域，感恩全网十多万粉丝一路同行！
「青云交」汇聚大数据前沿干货，邀你共攀技术高峰！
商务合作（产品/技术推广）或技术交流，扫码关注公众号「青云交」（微信：QingYunJiao），私信必回，干货常更～
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践
本文深入介绍 Spark Streaming 实时数据处理框架，包括核心概念、与其他框架比较、应用场景、案例分析、实践技巧及挑战解决方案。通过丰富案例和代码示例展示其强大功能，为大数据实时处理提供参考。原创 2024-09-26 17:20:50 · 3027 阅读 · 40 评论 -
大数据新视界 --大数据大厂之 Spark 性能优化秘籍：从配置到代码实践
本文深入探讨 Spark 性能优化，涵盖配置与代码实践。在配置方面，包括内存分配优化、并行度设置、存储级别配置、广播变量配置及解决数据倾斜问题等。代码实践涉及数据读取优化、减少 shuffle 操作、优化算法和函数使用、垃圾回收器配置以及代码调优与监控。通过丰富的案例和代码示例，为读者提供切实可行的 Spark 性能优化方法，助力大数据处理更高效。原创 2024-09-11 21:30:22 · 1980 阅读 · 15 评论