大数据学习笔记12：搭建伪分布式Spark

最新推荐文章于 2024-10-20 19:42:16 发布
最新推荐文章于 2024-10-20 19:42:16 发布
阅读量702 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/103943420
本文档详述了如何在虚拟机中搭建伪分布式Spark，包括下载Spark-2.4.4压缩包，上传并解压，配置spark-env.sh文件，设置环境变量，启动Hadoop和Spark服务，进入spark shell，以及利用Spark清洗数据的初步步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、准备工作

大数据学习笔记06：伪分布式Hadoop
在虚拟机tiger上已经安装好了伪分布式hadoop

二、搭建伪分布式spark

1、下载spark-2.4.4-bin-hadoop2.7压缩包

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
在这里插入图片描述
在这里插入图片描述

2、将spark压缩包上传到虚拟机

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记：Hadoop生态系统
howard2005的专栏
02-26 1774
介绍Hadoop生态圈常用组件
解决宿主机Ping不通虚拟机的问题
热门推荐
howard2005的专栏
07-30 7万+
在使用虚拟机的过程中，我们常常会遇到宿主机和虚拟机之间无法相互通信的问题。具体来说，我们要查看虚拟机和宿主机的 IP 地址，然后尝试进行 Ping 测试。在某些情况下，我们可能发现 Ping 虚拟机不通，接下来我将分享如何解决这个问题。
spark伪分布式搭建及spark页面8080端口访问出错的问题
sogn
12-28 2万+
伪分布式搭建其实很简单（spark集群搭建都很简单）1、首先到官网下载spark压缩包2、下载 命令行中使用：wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz 3、解压 tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz 4、修改配置文件
Spark的伪分布式与完全分布式
10-02 676
伪分布式配置 spark-env.sh 配置 slaves 配置如下 网页查看 http://bigdata121:8080/ 结果如下 spark 的 bin 目录下 ./spark-shell -- master spark://bigdata121:7077 完全分布式配置如下 step1、修改vi slaves...
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1237
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
大数据新视界 --大数据大厂之 Ray：分布式机器学习框架的崛起
最新发布
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破优快云排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
10-20 3704
本文全面介绍 Ray 分布式机器学习框架，包括其特点、优势、对人工智能和大数据领域的影响、应用场景、案例分析及未来发展趋势，提供丰富代码示例，为读者提供深入了解 Ray 的参考。
大数据学习笔记：一，基本组件
Amiya_xiongyi的博客
08-20 410
这篇文章主要列举了一些大数据环境所需要的组件工具，它们具体的功能与使用方法在之后慢慢学习。写这篇文章的目的主要是为了理清大数据由哪些具体模块组成。如果有什么错误或纰漏，希望您能指出，如果有对初学者的建议也希望您能赐教！
Spark基础学习笔记03：搭建Spark单机版环境
lwmzl00的博客
06-16 347
文章目录 零、本讲学习目标 学会搭建Spark单机版环境 学会Spark应用程序的运行 学会启动Spark Shell 初步了解RDD的概念 一、搭建Spark单机版环境 （一）私有云上创建ied实例 创建端口 - ied_port 二）连接ied虚拟机 演示win7虚拟机通过FinalShell连接ied虚拟机 三）修改ied实例主机名 执行命令：hostnamectl set-hostname ied 重启虚拟机 再次连接ied虚拟机 四）设置IP地址与主机名映射 执行命令：yum -y instal
大数据开发学习笔记
qq_51065387的博客
02-12 1639
大数据开发有两种 ， 一种需要编写Spark、Hadoop的应用程序 ， 另一种需要开发大数据处理系统本身 。 大数据开发工程师的职责是负责公司大数据平台的开发和维护、网络日志大数据分析、实时计算和流式计算等技术的研发和网络安全业务主题建模等工作 。
大数据学习笔记（二）：Spark
yimuta9538的博客
01-19 512
本文仅提供一个入门概览，部分内容来源于网络，部分来源于自己理解，参考内容链接会在文末给出。 概述 Spark 是使用 scala 实现的基于内存计算的大数据开源集群计算环境。它提供了 java,scala, python,R 等语言的调用接口。而且，Spark还支持丰富的高级工具集，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图形处理的GraphX和Spar...
BigdataNote:大数据生态学习笔记文档，总结hadoop分布式计算框架、yarn、数据分析步骤、storm、kafka、Hbase、spark等知识用于个人学习，分享优秀笔记博客
05-09
BigdataNote ...大数据生态学习笔记 大数据笔记 hadoop搭建 hive笔记 HDFS YARN Mapreduce ORACLE面试 oracle 优化方法总结 https://www.cnblogs.com/doudou618/p/9376424.html 数据库面试 ...
在Eclipse里搭建Scala开发环境
howard2005的专栏
04-10 9770
在Eclipse里搭建Scala开发环境Scala：一种类似Java的编程语言，综合了面向对象编程(Object-Oriented Programming)和函数式编程(Functional  Programming)的特性，有利于开发多核并发模型以及云计算(Parallelism  for  Mulicore  and  Cloud  Computing)项目。参考书目：Programming ...
Spark案例：Scala版统计单词个数
howard2005的专栏
12-14 8951
Spark案例：Scala版统计单词个数 利用Spark的RDD可以对本机或集群上的文件进行词频统计。 1、创建Scala项目SparkScalaWordCount 2、创建lib目录，添加spark的jar，并添加作为项目的库 3、在项目根目录创建test.txt文件 4、创建WordCount对象 package net.hw.spa...
如何让CentOS8虚拟机与主机相互Ping通
howard2005的专栏
11-13 7659
如何让CentOS8虚拟机与主机相互Ping通 在VMWare上安装了CentOS8，打开终端，发布nmcli命令： 当前连接的是virbr0，ipv4地址是192.168.122.1，而网卡ens33没有连接的。 打开主机的命令行窗口，发布命令ping 192.168.122.1： 请求超时，主机Ping不通虚拟机。 发布ipconfig命令，查看主机ipv4地址： 主机...
初试Octave软件
howard2005的专栏
12-16 7344
Octave是一款十分有用的数值计算软件。一、Octave基础1、使用Octave的内建函数>> exp(1)ans = 2.7183说明：exp函数表示底数为e的指数函数。>> x = 1.2*sin(40*pi/180+log(2.4^2))x = 0.76618说明：pi代表圆周率。>> log(e)ans = 1>> log10(100...
利用Octave解线性方程组
howard2005的专栏
02-17 6103
利用Octave解线性方程组 在初中，求解线性方程组的方法是消元法（代入消元或加减消元）。 比如，下面这个二元一次方程组，就是采用加减消元法来求解的。 消元法固然简单，容易理解，但是对于n元线性方程组，n值比较大时，这个方法就不好使了，对于这种情况，我们有没有更好的处理方法呢？答案是肯定的。 在线性代数里，对于线性方程组，采用矩阵和向量的计算方式。 首先利用向量和矩阵表示上述二元一次...
在Linux上安装JDK9
howard2005的专栏
02-22 5692
1、下载JDK9 http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html 2、上传到虚拟机 3、安装JDK9 [root@park01 software]# rpm -ivh jdk-9.0.4_linux-x64_bin.rpm 4、配置环境变...
如何才能CentOS终端输入中文
howard2005的专栏
08-22 5121
如何才能CentOS终端输入中文 1、打开终端界面，使用su - root切换到超级用户，然后输入yum install -y "@Chinese support"，回车。 2、然后点击桌面左上角的System->Perference，在里面可以看到一个Input Method，点击进去。 3、选中Enable前面的方框，点击Input Method。 4、在打开的窗...
Scala案例：词频统计
howard2005的专栏
02-17 4983
一、提出任务 统计文本文件里单词出现次数。 二、完成任务 1、创建Scala项目 - ScalaWordCount 创建net.hw.wc包： 2、在项目根目录添加文本文件test.txt 3、在net.hw.wc包里创建scala源程序WordCount 4、运行程序，查看结果 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值