Spark快速大数据分析之第二章Spark 下载与入门

最新推荐文章于 2022-04-27 16:37:52 发布
原创 最新推荐文章于 2022-04-27 16:37:52 发布 · 856 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#jdk #spark

本文介绍了如何在Ubuntu系统上进行Spark的下载与安装，包括JDK的准备，从Apache官网获取预编译版Spark，以及设置日志级别。接着展示了通过ipython_notebook和python打开Spark的方式，并解释了Spark的基础概念——RDD。最后，通过一个简单的单词统计应用，阐述了Spark程序执行的基本架构，涉及驱动器和执行器的角色。

2.1Spark下载与安装

JDK的安装

JDK的版本最好是1.8以上，使用的是ubuntu系统

安装源
        

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update

安装jdk 
sudo apt-get install oracle-java8-installer
sudo update-java-alternatives -s java-8-oracle

测试

java -version
javac -version


    注：JDK的默认安装目录为：JAVA_HOME="/usr/lib/jvm/java-8-oracle"

Spark的安装

spark的下载网址是：http://spark.apache.org/downloads.html

选择需要的版本下载，最好下载预编译版（prebuilt）

对spark进行解压，即完成了安装。

最低0.47元/天 解锁文章
【图书推荐】《Spark 3.0大数据分析与挖掘：基于机器学习》
夏天又到了的专栏
06-11 1022
Spark作为新兴的、应用范围广泛的大数据处理开源框架，吸引了大量的大数据分析与挖掘从业人员进行相关内容的学习与开发，其中ML是Spark 3.0机器学习框架使用的核心。本书用于Spark 3.0 ML大数据分析与挖掘入门，配套示例源码、PPT课件、数据集、思维导图、开发环境和作者答疑服务。
Spark快速大数据分析——读书笔记
超级帅的一个小伙子的博客
08-19 5110
——8.16开始整理 Spark快速大数据分析推荐序： 一套大数据解决方案通常包含多个组件，从存储、计算和网络硬件层，到数据处理引擎，再到利用改良的统计和计算算法、数据可视化来获得商业洞见的分析层，这其中数据处理引擎起到了十分重要的作用，毫不夸张的说数据处理引擎至于大数据就相当于CPU之于计算机spark起源： 2009年加州大学伯克利分校AMPlab 创立spark大数据处理和计算框架。不同
SPARK快速大数据分析 第2版
最新发布
12-06
SPARK快速大数据分析 第2版 pdf下载
Spark-快速大数据分析-中文版书籍
01-05
Spark-快速大数据分析-中文版的书籍，翻译包含全部章节
基于大数据下的spark快速大数据分析.pdf
12-24
DOI:10.16525/j.cnki.14-1362/n.2019.10.31 总第 184 期 2019 年第10 期 Total of 184 No.10， 2019 大数据 收稿日期： 2019-08-16 第一作者简介： 林海 （1989—） ， 男， 本科， 研究方向为飞行 教育。 基于大数据下的 Spark 快速大数据分析 林 海， 王 强， 李英震 （空军航空大学初级飞行训练基地二团， 黑龙江 哈尔滨 150100） 摘 要： 在数据大爆炸的时代， 随着数据量的激增， 如何更快速地处理、 使用这些规模大、 复杂度高的数据成为 迫在眉睫的问题。阐述了 Spark 的五大组件，研究了 Spark 数据处理应用和运行架构。Spark 通过优化传统的 MapReduce 模型来满足之前 HDFS 以及 MapReduce 无法解决的问题， 大大提高了效率， 为处理流式数据以及 其他需求提供了捷径。 关键词： 大数据； 数据分析； 计算； 数据处理 中图分类号： TP311 文献标识码： A 文章编号： 2095-0748 （2019） 10-0075-02 现代工业经济和信息化 Modern IndustrialEconomy and Informationization 引言 随着科学技术和社会经济的高速发展， 我们已经 处于一个数据大爆炸的时代， 手机、 ipad 以及其他的 物联网设备每分每秒都会产生大量的全新数据， 这 些数据不仅数量大，而且更加复杂，来源也越来越 广。 据科学家预测， 到 2020 年， 将会有 600 多亿台的 互联网设备产生 Zeta 级的数据， 所以如何更加合理 快速地处理并且使用这些规模大、复杂度高的数据 成为我们迫在眉睫需要解决的问题。 随着数据量的快速增长，以及一些公司对数据 进行实时计算和实时处理的要求，传统的 MapRe- duce 模型已经无法满足这些要求， 而且更加重要的是 MapReduce 在进行 Shuffle 时会产生大量的 I/O， 使 得效率变低。 Spark 的出现扩展了传统的 MapReduce 模型， 不但能提供更多更加高效的计算模型， 还能够 适用于多种不同的分布式平台场景上。同时 Spark 还可以让使用者们简单而低消耗地将各种处理流程 整合到一起，这样既满足了对实时计算以及实时处 理的要求， 还减轻了对各种平台分别管理的负担[1]。 1 Spark 的五大组件 在 spark Core 中实现了 Spark 的一些基础的功 能， 例如进行内存的管理、 进行错误的恢复、 对任务 的调度、 与存储系统进行交互等功能。 它还包含了对 弹性分布式数据集的 API 定义。 Spark SQL 是被用来对结构化数据进行操作 的程序包， 它支持多种数据源， 例如 Hive 表、 JSON、 Parquet 等， 还可以使用 HQL 来进行数据的查询。 Spark Streaming 能够对实时的数据进行流式计 算。 它具有准时的特点， 同时提供离散化流数据的高 级抽象概念， 以此来表示连续的数据流。 离散流是可 以来自 Flume、 Kafka 等输入源的输入数据流来创 建， 进行批处理， 时间一般是秒级。 MLib 是 Spark 提供的一个常见的机器学习功能 的程序库， 它提供了许许多多的机器学习算法， 这些 算法中包括了回归、 聚类、 分类、 协同过滤、 数据导 入、 模型评估等功能。 Graphx 是能够进行并行操作的图计算，可以用 来操作图的程序库。 2 Spark 数据处理应用 众所周知因为 MapReduce 在交互计算以及迭 代计算任务上的效率比较低，所以 Spark 出现了， Spark 的出现使得交互式查询以及迭代计算效率大 大增加，不但如此它还支持高效的容错机制和内存 式存储。Spark 不仅仅能够将 HDFS （分布式文件系 统） 上面的文件读取为分布式数据集， 还支持本地文 件、 Hive、 HBase 等。 每一个 Spark 应用都会由一个驱动 器程序 （Driver Program） 来发起集群上的并行操作[2]。 3 Spark 的运行架构 在 HDFS 的环境下， Spark 采取的是 Master/Slave， 即主从架构，也就是由一个主节点来负责中央的协 调， 调度其他每个分布式节点， 其中负责中央协调的 节点就称为驱动器节点，也就是我们所说的 Driver 第 9 卷 现代工业经济和信息化 xdgyjjxxhx@163.com （上接第 74 页） Application of Big Data in Human Resource Management Wang Xiaoli （Shanxi Provincial Pers
spark快速大数据分析（2）
u014381464的博客
04-07 532
spark下载与入门spark shell其他shell工具只能使用单机的硬盘和内存来操作数据，而spark shell可以用来与分布式存储在许多机器的内存或者硬盘上的数据进行交互，并且处理过程的分发由spark自动控制完成。spark支持许多语言版本，此处交互式shell部分只考虑Python版本（PySpark Shell）和Scala版本（Spark-sehll）。进入PySpark She...
Spark快速大数据分析（二）
zhuzi51的专栏
11-16 581
楔子 Spark快速大数据分析 前3章内容，仅作为学习，有断章取义的嫌疑。如有问题参考原书 4 键值对操作 4.1 动机 Spark为包含键值对类型的RDD提供了一些专业的操作，这些RDD被称为pair RDD,Pair RDD是很多程序的构成要素，因为他们提供了并行操作各个键或跨节点重新进行数据分组的操作接口。例如：pair RDD提供了reduceByKey方法，可以分别归约每个键对应的数...
精选资源
Spark大数据分析与实战课后练习答案.rar
06-22
《Spark大数据分析与实战》课程是一门深入探讨Apache Spark在大数据处理领域的应用和技术的课程，其课后练习答案集提供了对课程所讲授知识的巩固和实践。这是一份珍贵的配套教学资源，旨在帮助学生更好地理解和掌握...
Python3实战Spark大数据分析及调度-第8章 Spark SQL.zip
04-30
在本压缩包“Python3实战Spark大数据分析及调度-第8章 Spark SQL.zip”中，主要探讨了如何利用Python3编程语言与Apache Spark框架进行大数据分析，特别是通过Spark SQL进行结构化数据处理和查询。这一章节是大数据...
Spark快速大数据分析.pdf
泸西凉米线的专栏
08-13 1179
RDD：弹性分布式数据集（Resilient Distributed Dataset） RDD 支持两种操作：转化操作和行动操作 转化操作（transformation）：由一个 RDD 生成一个新的 RDD ，比如 map() 和 filter() pythonLines = lines.filter(line => line.contains("Python")) 和行动操作（action）：向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算 ，比如 count() 和 f
基于Spark的数据处理分析系统的设计与实现
10-25
基于Spark的数据处理分析系统的设计与实现随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。寻求有效的大数据处理技术、方法和手段已经成为现实世界...
基于spark的电影推荐系统的数据集
12-28
推荐系统常用的电影数据集，推荐系统常用的电影数据集。
46488-Spark大数据技术与应用(1-3).pdf
02-25
46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)46488-Spark大数据技术与应用(1-3)
跟我一起学Spark之——《Spark快速大数据分析》pdf版下载
SunWuKong_Hadoop的博客
10-10 2221
链接：https://pan.baidu.com/s/1vjQCJLyiXzIj6gnCCDyv3g  提取码：ib01 国庆第四天，去逛了半天的王府井书店，五层出电梯右边最里面，倒数第三排《数据结构》，找到了一本很不错的书《Spark快速大数据分析》，试读了下，我很喜欢，也很适合我，遂买之。 第1章 Spark数据分析导论 1  第2章 Spark下载与入门 7  第3章 RDD编程 21...
Spark快速大数据分析-第一和第二章
大卫DrDavidS的博客
06-13 532
先简单介绍了Spark，然后介绍如何下载和入门使用。
关于《Spark实战(第2版)》，IBM 云和数据平台的高级副总裁Rob Thomas这样说
清图出版
04-27 467
在 20 世纪，商业的规模效应主要由广度和分布所驱动。一家在全球拥有制造业务的公司具有内在的成本和分布优势，因而可生产更具竞争力的产品。一家在全球拥有门店的零售商拥有小公司无法比拟的分布优势。几十年来，这些规模效应推动了竞争优势。 互联网改变了这一切。如今，存在三种主要的规模效应： ● 网络——锁定，由忠诚网络驱动(Facebook、Twitter、Etsy 等) ● 规模经济——降低单位成本，由数量驱动(苹果公司、TSMC 等) ● 数据——卓越的机器学习和洞察力，由动态数据语料库驱动 在B..
Spark快速大数据分析
Mr.Write的博客
03-01 1735
作者：翁松秀 文章目录Spark快速大数据分析一、Spark数据分析导论二、Spark下载与入门三、RDD编程四、键值对操作五、数据读取与保存六、Spark编程进阶七、在集群上运行Spark八、Spark调优与调试九、Spark SQL十、Spark Streaming十一、基于MLlib的机器学习 Spark快速大数据分析 一、Spark数据分析导论 二、Spark下载与入门 三、RDD编程 ...
Spark 高级数据分析（第2版）
GitChat
11-06 5828
内容简介 作为计算框架，Spark 速度快，开发简单，能同时兼顾批处理和实时数据分析，因此很快被广大企业级用户所采纳，并随着近年人工智能的崛起而成为分析和挖掘大数据的重要得力工具。 本书由业内知名数据科学家执笔，通过丰富的示例展示了如何结合 Spark、统计方法和真实世界数据集来解决数据分析问题，既涉及模型的构建和评价，也涵盖数据清洗、数据预处理和数据探索，并描述了如何将结果变为生产应用，是运用 ...
Sparkshell快速入门：数据加载与交互式分析
"Spark快速数据处理第二章：Sparkshell的使用" 在Spark的生态系统中，Sparkshell是一个非常重要的组件，它是基于Scala的交互式环境，允许开发者直接与Spark集群进行交互，进行快速的数据处理和分析。Sparkshell使得...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值