Spark-大数据处理框架的安装

大数据Spark(五十五):Spark框架及特点 与 MapReduce 每个任务都需要将中间结果写入磁盘不同,Spark 能够将作业中间数据缓存于内存中,得益于内存计算和优化的查询执行方式,Spark 在内存中的运算速度比 Hadoop 的 MapReduce 快 100 倍,在磁盘上的速度也快 10 倍。Spark 可以在单机、小型集群甚至上千节点的分布式环境中高效运行。,与 MapReduce 不同,Spark 可以将作业中间结果缓存于内存中,减少对磁盘的读写操作,因此在需要多次迭代计算的数据处理场景(如数据挖掘和机器学习)中表现出色。 阅读详情

如果想要体验分布式计算的魅力所在,在安装Spark之前还需要安装Hadoop分布式式集群管理。(不安装Hadoop也能使用)
具体查看我的另外一篇文章Hadoop分布式集群搭建

一、软件准备

JDK: jdk1.8.0_131
Hadoop: hadoop-2.6.5
Scala: scala-2.11.7
Spark: spark-2.1.1-bin-hadoop2.6

二、环境说明

主机名系统HadoopIP地址
masterubuntu 16.04Hadoop-2.6.510.147.18.1
slave01ubuntu 16.04-serverHadoop-2.6.510.147.18.2
slave02ubuntu 16.04-serverHadoop-2.6.510.147.18.3

注意:本教程中Hadoop,Jdk,Scala,Spark的安装目录都是“/opt”
修改的配置文件都是”/etc/profile”
注意:本教程中需要配置各节点的SSH免密登陆,具体请查看Hadoop分布式集群搭建

三、安装步骤

Spark运行环境需要Scala

Scala的安装

请到Scala官方下载,下载Scala相应版本

# 使用hadoop用户安装(其他用户也可以)
$ sudo tar -xf scala-2.11.7.tgz
$ sudo mv scala-2.11.7 /opt
配置环境变量
# 打开配置文件
$ sudo vim /etc/profile
# 在文件末尾添加
export SCALA_HOME=/opt/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
# 使配置文件生效
$ source /etc/profile
验证Scala是否安装成功
# 验证scala是否安装成功
$ scala -version

将Scala发送给slave01和slave02并且放到”/opt”目录下,同时修改slave节点相应配置文件

# 将scala复制到其他节点,并配置环境变量
$ scp -r scala-2.11.7 hadoop@slave01:~/
$ scp -r scala-2.11.7 hadoop@slave02:~/

Spark的安装

请到Spark官方下载,下载Spark相应版本

# 使用hadoop用户安装(其他用户也可以)
$ sudo tar -xf spark-2.1.1-bin-hadoop2.6.tgz
# 给spark文件重命名
$ sudo mv spark-2.1.1-bin-hadoop2.6 spark-2.1.1
配置Spark

到Spark的conf目录下

  1. spark-env.sh

    
    # 复制template文件为正式文件
    
    $ sudo cp spark-env.sh.template spark-env.sh
    
    # 使用vim打开
    
    $ vim spark-env.sh

    配置文件中内容(在spark-env.sh文件末尾添加)

    
    # 在文件末尾添加
    
    export JAVA_HOME=/opt/jdk1.8.0_131
    export SCALA_HOME=/opt/scala-2.11.7
    export SPARK_MASTER_IP=master
    export SPARK_WORKER_MEMORY=1g
    export HADOOP_CONF_DIR=/opt/hadoop-2.6.5/etc/hadoop
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"
  2. slaves

    
    # 复制template文件为正式文件
    
    $ sudo cp slaves.template slaves
    
    # 使用vim打开
    
    $ vim slaves

    配置文件中内容(在slaves文件末尾添加)

    
    #添加
    
    master
    slave01
    slave02

    将Spark-2.1.1移至”/opt”

$ sudo mv spark-2.1.1 /opt
配置环境变量
# 打开配置文件
$ sudo vim /etc/profile
# 在文件末尾添加
export SPARK_HOME=/opt/spark-2.1.1
export PATH=$PATH:$SPARK_HOME/bin
# 使配置文件生效
$ source /etc/profile

将Spark发送给slave01和slave02并且放到”/opt”目录下,同时修改slave节点相应配置文件

# 将scala复制到其他节点,并配置环境变量
$ scp -r spark-2.1.1 hadoop@slave01:~/
$ scp -r spark-2.1.1 hadoop@slave02:~/
# 将scala复制到其他节点,并配置环境变量
$ scp -r scala-2.11.7 hadoop@slave01:~/
$ scp -r scala-2.11.7 hadoop@slave02:~/
验证Spark是否安装成功
# 启动(由于和hadoop的启动shell名字一样,需要注意)
$ SPARK_HOME/sbin/start-all.sh

查看集群状态
在地址栏中输入
http://master:8080/
如图
这里写图片描述

命令行交互验证

# 打开spark-shell
$ $SPARK_HOME/bin/spark-shell

scala> val textFile = sc.textFile("file:///home/zkpk/spark-1.6.2/README.md")
textFile: org.apache.spark.rdd.RDD[String] = file:///home/zkpk/spark-1.6.2/README.md MapPartitionsRDD[1] at textFile at <console>:27

scala> textFile.count()
res0: Long = 95

scala> textFile.first()
res1: String = # Apache Spark

此时说明Spark已经安装成功并可以使用了!

四、参考资料

Hadoop、Spark、Storm相关组件安装

【推荐系统算法实战】 Spark :大数据处理框架 Spark 简介 http://spark.apache.org/ https://github.com/to-be-architect/spark 与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势: Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)... 阅读详情

相关推荐

Apache Spark 2.2.1 完整大数据处理框架安装包

Apache Spark的核心组件包括了Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX。每个组件都有其独特的作用与场景。Spark Core:它是Spark的基石,提供了分布式任务调度、内存计算、容错机制等核心功能。Spark Core中的RDD(弹性分布式数据集)是进行数据处理的核心抽象。Spark SQL。

weixin_42527665的博客 888

大数据Spark框架概述

目录1 Spark 是什么2 Spark 四大特点2.1 速度快2.2 易于使用2.3 通用性强2.4 运行方式3 Spark 框架模块3.1 Spark Core3.2 Spark SQL3.3 Spark Streaming3.4 Spark MLlib3.5 Spark GraphX3.6 Structured Streaming4 Spark 运行模式 1 Spark 是什么 Spark 是加州大学伯克利分校AMP实验室(Algorithms Machines and People Lab)开发的

赵广陆 7459

Spark 2.0.2快速安装指南:大数据处理框架配置教程

Apache Spark是一个用于大规模数据处理的统一分析引擎。其核心概念之一是弹性分布式数据集(RDDs),这是分布式内存的一个抽象概念,代表了不可变、分布式的数据集合。

weixin_30481539的博客 946

【大数据】数据分析之Spark框架介绍

Spark是一种快速、通用、可扩展的大数据分析引擎,它基于内存计算的大数据并行计算框架,能够显著提高大数据环境下数据处理的实时性,同时保证高容错性和高可伸缩性。上面的示例代码展示了如何使用 Java 编写 Spark 应用程序来处理不同类型的数据和任务。然而,由于 Spark 的广泛功能和 Java 语言的限制,有些任务(如图处理)可能需要额外的库或更复杂的设置。在实际应用中,你可能需要根据你的具体需求和可用资源来调整这些示例代码。

wendao76的专栏 5453

Java大数据处理项目实战:代码与文档解析

本文还有配套的精品资源,点击获取 简介:本项目“java代码-大数据1班47吴依琦”旨在为学习大数据处理的Java编程者提供代码示例和文档指导。项目包括 main.java 源代码文件和 README.txt 说明文档,涉及Java在大数据处理中的应用,如并发容器使用、I/O流操作、分布式计算框架Hadoop与Spark的应用,以及数据序列化、Y...

weixin_42356162的博客 2124

Python大数据处理实战作业详细指南

本文还有配套的精品资源,点击获取 简介:Python是数据分析、机器学习和大数据处理的流行语言,其简洁的语法和丰富的库使得它在处理大数据方面十分有效。本压缩包提供了一系列的大数据作业实践,目的是帮助初学者提升数据处理的能力。实践内容涵盖数据读取、数据清洗、数据探索、数据操作、大数据处理工具、MapReduce编程模型、数值计算库应用、数据挖掘与机器学习、时间序列分析、数据库...

weixin_34456923的博客 959

【数据仓库】spark大数据处理框架

Spark是一个性能优异的集群计算框架,广泛应用于大数据领域。类似Hadoop,但对Hadoop做了优化,计算任务的中间结果可以存储在内存中,不需要每次都写入HDFS,更适用于需要迭代运算的算法场景中。Spark专注于数据的处理分析,而数据的存储还是要借助于Hadoop分布式文件系统HDFS等来实现。复杂的批量数据处理基于历史数据的交互式查询基于实时数据流的数据处理Spark技术栈基本可以解决以上三种场景问题。

花菜回锅肉的博客 2132

Spark 2.8.3 Windows版:大数据处理框架入门与实践

本文还有配套的精品资源,点击获取 简介:Apache Spark是一个开源的大数据处理框架,以高效、灵活和可扩展性著称。本案例介绍Windows环境下的Spark版本,即Spark 2.8.3,虽然非最新版本,但对学习和研究有其价值。Spark通过引入RDD进行内存计算来解决Hadoop MapReduce的低效率问题,提供包括Spark Core、Spark SQL、Sp...

weixin_42598278的博客 943

Spark框架概述

定义:Apache Spark是用于处理的。弹性分布式数据集RDD是一种分布式内存抽象,其使得程序员能够在大规模集群中做内存运算,并且有一定的容错方式。而这也是整个Spark的核心数据结构,Spark整个平台都围绕着RDD进行。简而言之,Spark借鉴了MapReduce 思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度。统一分析引擎?Spark是一款分布式内存计算的统一分析引擎。

藤藤菜的专栏 5125

FPGA高速接口Aurora8B/10B协议实战:从IP核配置到数据流优化

本文详细介绍了FPGA高速接口Aurora8B/10B协议的实战应用,从IP核配置到数据流优化的全流程。通过Aurora8B/10B协议,开发者可以在FPGA间实现高效的数据传输,适用于高速接口设计。文章涵盖了协议基础、IP核配置、AXI4-Stream接口实战技巧以及性能优化策略,帮助读者快速掌握这一关键技术。

weixin_29280657的博客 269

红外避障模块介绍

该传感器模块对环境光线适应能力强,其具有一对红外线发射与接收管,发射管发射出一定频率的红外线,当检测方向遇到障碍物(反射面)时,红外线反射回来被接收管接收,经过比较器电路处理之后,绿色指示灯会亮起,同时信号输出接回输出数字信号(一个低电平信号),可通过电位器旋钮调节检测距离,有效距离范围2~30cm,工作电压为3.3v-5v。该模块测距离2~~30cm,检测角度35°,检测距离可以通过电位器进行调节,顺时针调电位器,检测距离增加;1.VCC外接3.3v-5v电压(可以直接与5v单片机和3.3v单片机相连).

weixin_46251230的博客 2万+

Spark的安装

如果按照 3 安装Spark和配置环境变量 和 4 设置Spark相关的配置 的流程,分别在hadoop1、hadoop2、hadoop3机器上进行了配。这里因为把hadoop1里的环境变量传到了hadoop2和hadoop3里,所以,这里需要分别在hadoop2,hadoop3里使用 source 命令。如果设置了hadoop的环境变量,这里不建议使用 start-all.sh 指令,因为两者会冲突,优先采用先配置的那个目录运行,可。为了保证稳定性和安全性,采用的是Spark3.5.2版本。

2301_77974754的博客 1047

详解在linux上安装vpn客户端

详解在linux上安装vpn客户端

FuncPlotCalc 8434

Spark内存并行计算框架

spark核心概念spark集群架构spark集群安装部署spark-shell的使用通过IDEA开发spark程序。

QiAn的博客 1404

【Bug已解决】Codex Desktop 更新后无法启动/闪退解决方案

方案适用场景推荐指数清理本地缓存重启最常见、最应优先尝试的方案⭐⭐⭐⭐⭐完全卸载重装缓存清理无效时的进阶方案⭐⭐⭐⭐详细日志定位崩溃环节需要精确诊断问题原因⭐⭐⭐⭐锁定旧稳定版本确认是特定版本缺陷时的过渡方案⭐⭐⭐反馈官方支持团队自助方式无效时的最终途径⭐⭐⭐⭐Codex Desktop 更新后无法启动/闪退的本质通常是新版本程序在启动时读取到了旧版本遗留的、格式不兼容的本地缓存或配置数据,导致启动流程中途崩溃。

一键难忘的博客 6290

comsol如何实现五厚度的单元模拟?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 471

spark的安装

在当今数据爆炸式增长的时代,大数据处理技术已成为计算机科学领域的重要支柱。Apache Spark作为新一代大数据处理框架,凭借其高性能、易用性和丰富的生态系统,已成为企业级大数据分析的首选工具。本文将介绍关于Spark的安装有关步骤。打开Spark存档网站:https://archive.apache.org/dist/spark,找到Spark3.5.2版本,点击下载。Linux系统:CentOS Stream 9。2.3 设置Spark相关的配置。四、启动Spark集群。2.2 配置环境变量。

Firstheart_的博客 280

华为OD机试2025A卷 - 分苹果(Java & Python& JS & C++ & C )

华为OD机试2025A卷 - 分苹果(Java & Python& JS & C++ & C )

算法大师! 722

spark入门框架+python

目录: 简介 pyspark IPython Notebook 安装 配置 spark编写框架: 首先开启hdfs以及yarn 1 sparkconf 2 sparkcontext 3 RDD(核心) 4 transformation(核心) 5 action(核心) 当然也可以指定运行py程序 简介: 不可否认,spark是一种大数据框架,它的出现往往会有Hadoop的身影,其实Hadoop更多的可以看做是大数据的基础设施,它本身提供了HDFS文件系...

zhao_teng的博客 1487

ORB-SLAM2算法4之KITTI开源数据集运行ORB-SLAM2生成轨迹并用evo工具评估轨迹

ORB-SLAM2算法1 已成功编译安装ORB-SLAM2到本地,本篇目的是用KITTI开源数据来运行ORB-SLAM2,并生成轨迹,最后用evo评估工具来评估ORB-SLAM2生成的轨迹和真值轨迹。

重点记录机器人和自动驾驶相关领域的技术,尤其是计算机视觉,视觉SLAM等,不仅有前言文献或必备算法的学习,也会有实际应用的点滴经验 2326

【Claude Code 源码解析教程】第4章:QueryEngine 查询引擎

本章深入解析 Claude Code 的核心引擎——QueryEngine,它是整个对话系统的"心脏",负责管理会话状态、消息处理流程和多轮对话支持。

rengang66的博客 270

spark复习笔记(2)

  之前工作的时候经常用,隔了段时间,现在学校要用学的东西也忘了,翻翻书谢谢博客吧。   1.什么是spark? Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为Apache孵化项目,2014年2月成为Apache顶级项目。目前,Spark生态系统已经发展成为一个包含多个子项目的集合,其中包含S...

aikunjiao3421的博客 244

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

spark001

Spark-day01 1.学习目标 了解spark相关背景以及其框架特点 掌握搭建spark集群(尤其是高可用集群搭建) (重点) 掌握spark应用程序开发以及运行 (重点) 掌握Spark框架中的角色 (重点) Spark概述 官网:http://spark.apache.org/ Apache Spark™ is a unified analytics engine for la...

weixin_30512043的博客 185

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Day 09-spark

Spark概述大数据开发的总体架构在数据计算层,作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算(当然也可以编写独立的MapReduce应用程序进行计算);而Spark既可以做离线计算(Spark SQL),又可以做实时计算(Spark Streaming),它们底层都使用的是Spark的核心(Spark Core)。Spark初识。

qq_62907049的博客 1138

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

spark-yun 的安装和配置教程

spark-yun 的安装和配置教程 1. 项目的基础介绍和主要的编程语言 spark-yun 是一个开源项目,它提供了一个基于云计算的解决方案,旨在简化大数据处理任务。该项目使用的主要编程语言是 Java,它是构建在 Apache Spark 之上的,因此能够充分利用 Spark 强大的数据处理能力。 2. 项目使用的关键技术和框架 该项目使用了以下关键技术和框架: Apache Spark:...

gitblog_00941的博客 376
上一篇: Hadoop分布式集群搭建
下一篇: Caffe(CPU)-Ubuntu16.04下安装教程(未完成)
我就想叫这个
博客等级 码龄11年 52粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值