Spark 之道
关注
分享
扫一扫
文章平均质量分 97
“Spark 之道” 专栏，带你探寻 Spark 的核心魅力。深入剖析其强大的分布式计算能力，从数据处理到机器学习应用，全面展示 Spark 的多元价值。在这里，你将领悟 Spark 的独特之道，掌握高效大数据处理技巧。无论是新手开发者还是资深数据科学家，都能在这个专栏中找到开启 Spark 之旅的
青云交
技术征途荆棘满布，你是否孤身奋战，渴望志同道合的伙伴？立即关注微信公众号「青云交」 或 微信号：QingYunJiao ，凭借技术为纽带，广交天下英才，从此并肩冲锋！深入钻研 Java 生态，将 JVM 调优、Spring 全家桶等核心技术逐个击破。在消息中间件的天地纵横驰骋，熟练驾驭数据存储，对各大数据库了如指掌。从 Kubernetes 到 AI、Python，再跨界前端技术，打造全方位技术盛宴。「青云交」满藏海量技术干货，别再犹豫，马上加入，一同勇攀技术巅峰！
展开
-
大数据新视界 --大数据大厂之 Spark Streaming 实时数据处理框架：案例与实践
本文深入介绍 Spark Streaming 实时数据处理框架，包括核心概念、与其他框架比较、应用场景、案例分析、实践技巧及挑战解决方案。通过丰富案例和代码示例展示其强大功能，为大数据实时处理提供参考。原创 2024-09-26 17:20:50 · 2512 阅读 · 37 评论 -
大数据新视界 --大数据大厂之 Spark 性能优化秘籍：从配置到代码实践
本文深入探讨 Spark 性能优化，涵盖配置与代码实践。在配置方面，包括内存分配优化、并行度设置、存储级别配置、广播变量配置及解决数据倾斜问题等。代码实践涉及数据读取优化、减少 shuffle 操作、优化算法和函数使用、垃圾回收器配置以及代码调优与监控。通过丰富的案例和代码示例，为读者提供切实可行的 Spark 性能优化方法，助力大数据处理更高效。原创 2024-09-11 21:30:22 · 1640 阅读 · 11 评论