spark学习之路（起始篇）

最新推荐文章于 2025-06-26 15:45:31 发布

烈火之阳

最新推荐文章于 2025-06-26 15:45:31 发布

阅读量550

点赞数

CC 4.0 BY-SA版权

分类专栏： spark学习之路文章标签： spark

本文链接：https://blog.youkuaiyun.com/m0_37999119/article/details/80761383

spark学习之路专栏收录该内容

0 篇文章

订阅专栏

面对项目中涉及大量复杂计算的需求，本文介绍了使用Spark进行大数据处理的思路。数据规模达到百万级别，涉及多层循环计算，数据源来自MySQL。计划将数据同步至HBase，利用Spark集群的高效计算能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于spark，我基本上算是个小白，如果说的不对，或者各位大佬有不同的意见，欢迎提出来一起分享。今天主要是梳理一下需求，确定一下学习方向

项目中因为原始框架无法达到大量数据计算的要求，初步选择用spark来达到快速计算的需求，下面介绍大致情况：

场景为项目中的某一个设计到大量复杂计算的模块
设计数据量百万级数据，并会涉及到多层循环计算
数据来源为MySQL数据库
初始想法为将数据同步到hbase集群，以spark集群强大的计算能力来计算

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

烈火之阳

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark学习之路一（spark概述）

weixin_44695793的博客

02-18

398

文章目录前言一、spark是什么？1.定义2.历史二、spark的内置模块1.具体展示2.具体介绍三.spark特点前言最近感觉自己无所事事，有点烦，烦躁的时候，搞点事做做把~，然后呢，就来搞事了。一、spark是什么？ 1.定义 Spark是一种基于内存的快速、通用、可扩展的大数据分析引擎。 2.历史 2009年诞生于加州大学伯克利分校AMPLab，项目采用Scala编写。 2010年开源; 2013年6月成为Apache孵化项目 2014年2月成为Apache顶级项目。二、spark的内置模

Spark最佳学习路径-黄忠

10-23

Spark专刊第一期-Spark最佳学习路径-黄忠 Spark专刊第一期-Spark最佳学习路径-黄忠

参与评论您还未登录，请先登录后发表或查看评论

Spark学习之路（一）Spark初识

weixin_33737134的博客

04-19

325

一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的...

Spark实战指南：从入门到精通

最新发布

2401_84585736的博客

06-26

993

text数据分区：合理设置分区数（建议每个分区128MB）避免数据倾斜：使用盐化技术或自定义分区器内存管理：合理配置内存比例（持久化策略：根据数据使用频率选择存储级别广播变量：小数据集使用广播减少网络传输检查点机制：流处理中定期保存状态监控调优：利用Spark UI分析性能瓶颈。

我的spark学习之路(一）

weixin_30492601的博客

08-10

425

2016.8.10 其实北京一年，我也一直在考虑我回所到底研究什么方向，但都只是停留在想想的层次，最终也没什么结果，回来老师问了我的想法说，学分布式计算吧，读博也可以，找工作也好找，文章也好发，我一想，这感情好啊，既符合我搞开发的兴趣，文章也不难发，毕业了还有两个选择，简直是三全其美啊。虽然老师给了我两个月的时间考虑，但是我基本就决定了，我一定要研...

Spark1.0.0 学习路线

mmicky的hadoop、Spark世界

05-13

8349

Spark1.0.0系列博客之引导篇，从预览篇、原理篇、运维篇、生态环境、源码篇、开发篇六个角度来介绍spark1.0.0。

Spark学习路线

JINGXI的博客

12-29

2765

准备编程语言介绍 scala、java、python、R都有spark对应的api，但如果想深入理解spark还是需要学习scala的。（scala中隐式转换特性可以很大程度提高spark开发效率）； Scala（FP+OP面向对象和函数式编程混合语言）优势在于函数式编程； scala是在java之外套了一层壳，编译之后还是.class，运行在jvm，所以java语言在学习大数据组建中也特别重要...

如何成为云计算大数据Spark高手？

Mr.稻帅（梦想如歌！）

07-14

1515

转载地址：http://bbs.youkuaiyun.com/topics/390811949 Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位；要想成为Spark高手，需要经历一下阶段：第一阶段：熟练的掌握Scala语言 1， Spark框架是采用Scala

Spark 学习路线

bigdata

01-05

947

参考文章： Spark 学习资源 - 知乎

想学习Spark？先带你了解一些基础的知识

abcdefg90876的博客

07-25

457

???? IndexSpark的核心概念Spark的基本特性Spark 生态系统 —— BDASSpark-Shell的简单使用Pyspark的简单使用Spark 服务的启动流程之前也学...

Spark学习之路(建议收藏)

a934079371的博客

12-27

351

大纲：一、熟练的掌握Scala和Java语言二、精通Spark平台本身提供给开发者API三、深入Spark内核四、掌握基本Spark Streaming五、掌握基本Spark SQL六、...

Spark修炼之道——Spark学习路线、课程大纲

weixin_34295316的博客

08-19

525

课程内容 Spark修炼之道（基础篇）——Linux基础（15讲）、Akka分布式编程（8讲） Spark修炼之道（进阶篇）——Spark入门到精通（30讲） Spark修炼之道（实战篇）——Spark应用开发实战篇（20讲） Spark修炼之道（高级篇）——Spark源码解析（50讲）部分内容会在实际编写时动态调整，或补充、或...

Spark从入门到精通：Spark学习路线规划

shuimuzh123的博客

04-29

2968

作为大数据领域占据着越来越重要地位的计算框架，Spark也逐渐成为大数据技术开发人员们被要求具备的基本技能之一，越来越多的职位在招聘的JD上清清楚楚地写出Spark的要求，这是大趋势。想要Spark从入门到精通，今天我们就给大家分享一份Spark学习路线规划。阶段一：编程语言基础学习Spark，Scala和Java语言是至少要掌握的两种语言之一，Scala是Spark框架的编程语言，通过Scala编程这是没话说的。尤其是想要精通Spark，阅读Spark的源代码是必须的，那么掌握Scala也是.

Hadoop及Spark学习路线及资源收纳

lzw2016的博客

11-18

692

title: Hadoop及Spark学习路线及资源收纳 date: 2018-11-18 16:19:54 tags: Hadoop categories: 大数据 toc: true 点击查看我的博客：Josonlee’s Blog 前言本人大数据专业方向，收集学习一些相关文章，汇总如下。有些资源来源网络，出处不明，如有错误请告知，谢谢资源不断更新中。。。 Hadoop 18.11.1...

Spark学习之路

Better_fee的专栏

12-29

486

Spark学习之路（一）

weixin_42418158的博客

05-12

177

1.linux生成密钥首先，假设我们有两台服务器，服务器名称分别是 ip157和 ip158，我们现在需要做的就是在服务器 ip157上面登录服务器 ip158不需要输入密码就可以登录成功。下面，开始我们的配置步骤： 1.服务器 ip157上生成密钥可以通过使用 ssh-keygen 命令来生成，我们可以先使用 man 命令或者是 help 命令查看具体需要哪些参数以及具体信息。 [roo...

Spark学习之路-1

majixiang1996的博客

08-06

259

因工作需要开始学习Spark计算引擎，本系列文章中使用scala语言编写spark程序，在实际开发中可以使用Java，Python或者R语言编写。 1、RDD 弹性分布式数据集 RDD有三种运算：转换（会产生另外一个RDD）、动作（不会产生另外一个RDD）、持久化（对于会重复使用的RDD，可以将RDD持久化在内存中作为后续使用，以提高执行性能） 1>、创建intRDD： val...

Spark机器学习实战：探索与应用的演进之路

在标题《Mastering Machine Learning with Spark 2.x-Packt Publishing(2017).pdf》中涉及了几个关键知识点，包括Apache Spark的版本号、机器学习以及Packt Publishing公司。这些知识点表明，本书可能是一部关于如何...