【分布式编程】三——基于VirtualBox的Spark完全分布式环境

最新推荐文章于 2023-11-30 15:57:44 发布
原创 最新推荐文章于 2023-11-30 15:57:44 发布 · 855 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何在VirtualBox的Ubuntu 16.04 LTS环境中，基于Hadoop搭建Spark的完全分布式集群。首先确保已有Hadoop、JDK等环境，接着安装Scala和Spark，配置环境变量，特别是Spark的配置部分，包括`slaves`文件和`spark-env.sh`文件。然后启动Hadoop和Spark，通过查看进程和Web界面确认集群状态。最后，通过运行pyspark和spark-shell验证Spark配置成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

Spark的搭建依赖于Hadoop，因此本文基于之前分布式Hadoop环境，JDK、Hadoop等已安装好，

系统环境

  • 虚拟机：VirtualBox
  • Linux：Ubuntu 16.04 LTS
  • HAdoop 2.7.5
  • IDE：Intellij IDEA
  • JDK 1.8.0_151
  • Scala-2.12.4
  • Spark-2.2.1

操作步骤

安装Scala

  1. 下载Scala-2.12.4

  2. 解压到当前目录

    tar -zxvf scala-2.12.4.tgz

  3. 将解压后的文件夹移动到/usr下

    sudo mv scala-2.12.4/ /usr/

  4. 配置环境变量

    sudo vim /etc/profile

    添加如下代码，路径根据情况自己修改

    export SCALA_HOME=/usr/scala-2.12.4
export PATH=$SCALA_HOME/bin:$PATH

  5. 更新环境变量配置

    source /etc/profile

  6. 验证是否安装成功

    7. 


                

                
                
        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
基于virtualbox安装spark-yarn-cluster

				
			

			

				

					What
				

				

					03-24
					
					2183
					
				

			

		

		

			
				
打算自己玩玩spark-yarn-cluster，公司的环境是别人装的，没有亲自搞一遍，总觉得心里不踏实。另外一个重要的原因是，公司的服务器性能比较强，这样spark任务不容易暴露性能问题或者内存溢出，反而不便于深入学习spark。0. 环境    hp ProBook, intel core i3-4030u 1.9Ghz,伪四核，实际应该是双核，8G内存;
    windows7 旗舰版;

			
		

	



                

            
              



	

		

			

				
					
VirtualBox 虚拟机配置centos6.4 spark集群（1）---  环境搭建以及所遇问题

				
			

			

				

					小马哥的博客
				

				

					07-06
					
					1140
					
				

			

		

		

			
				
一、前言




二、所需软件
       VirtualBox 5.1.22
       操作系统 ：centos6.4    CentOS-6.4-x86_64-minimal.iso
       


三、虚拟机的配置
        1、虚拟机安装
                （1）在VirtualBox中选择“新建”--->填写名称，“类型”选择Lin

			
		

	



              


  
              

                


	

		

			

				
					
Apache Spark探秘：三种分布式部署方式比较

				
			

			

				

					weixin_30675247的博客
				

				

					01-13
					
					275
					
				

			

		

		

			
				
转自:链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/      目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式...

			
		

	





	

		

			

				
					
基于虚拟机部署Spark

				
			

			

				

					下雨总是忘伞
				

				

					04-27
					
					565
					
				

			

		

		

			
				
https://www.aliyun.com/jiaocheng/159127.htmlhttps://segmentfault.com/a/1190000008286629https://blog.youkuaiyun.com/ronaldo4511/article/details/52886672https://www.cnblogs.com/wonglu/p/5901356.htmlhttps://bl...

			
		

	



		

			
		



	

		

			

				
					
Spark项目实战-VirtualBox安装

				
			

			

				

					上海一九四三
				

				

					08-29
					
					898
					
				

			

		

		

			
				
一 下载

安装之前，我们先去下载一个VirtualBox，博主这里下载的是window版的5.2.18版本。下载地址：https://www.virtualbox.org/wiki/Downloads

二 安装

1、下载下来是一个exe文件，鼠标双击运行。



2、在这里，我们可以修改安装位置，然后继续下一步。



3、 这里我们不做修改，直接下一步。



4、立即安装。






...

			
		

	





	

		

			

				
					
深入浅出理解 Spark：环境部署与工作原理

				
			

			

				

					腾讯技术工程
				

				

					12-20
					
					1367
					
				

			

		

		

			
				
一、Spark 概述Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。Spark 支持多种编程语言...

			
		

	





	

		

			

				
					
Hadoop总结

				
			

			

				

					m0_67401382的博客
				

				

					08-01
					
					3989
					
				

			

		

		

			
				
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...

			
		

	





	

		

			

				
					
Sandbox环境下的大数据生态：安装与配置Hadoop生态系统组件

				
			

			

				

					
				

			

		

		

			
				
本文首先概述了Sandbox环境在大数据生态系统中的作用，强调了虚拟机配置作为搭建Hadoop生态系统基础的重要性。介绍了虚拟化软件的选择、虚拟机的安装步骤和网络设置的细节。接着，详细阐述了Hadoop及其生态系统组件...

			
		

	





	

		

			

				
					
Hadoop生态圈 大数据文档

				
			

			

				

					BigData_XiaoBai的博客
				

				

					12-01
					
					1057
					
				

			

		

		

			
				
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。


































































































































































































..

			
		

	





	

		

			

				
					
Spark编程指南之四：Spark分布式集群模式的运行时系统架构

				
			

			

				

					砥砺前行的博客
				

				

					12-31
					
					247
					
				

			

		

		

			
				
文章目录官方集群模式介绍Cluster Manager有哪些？StandaloneApache MesosHadoop YARNKubernetesStandalone模式架构与作业执行流程申请资源分配资源注册发送任务执行任务参考链接
官方集群模式介绍
Spark官方网站http://spark.apache.org的Deploying菜单下给出了集群模式
的简单介绍(可查看http://spar...

			
		

	





	

		

			

				
					
Spark环境搭建

				
			

			

				

					01-20
				

			

		

		

			
				
环境搭建
Spark On Yarn
Hadoop环境
设置CentOS进程数和文件数(重启生效)
[root@CentOS ~]# vi /etc/security/limits.conf
* soft nofile 204800
* hard nofile 204800
* soft nproc 204800
* hard nproc 204800

优化linux性能，修改这个最大值
配置主机名(重启生效)
[root@CentOS ~]# vi /etc/hostname
CentOS
[root@CentOS ~]# reboot

设置IP映射
[root@CentOS ~]# v

			
		

	





	

		

			

				
					
Spark集群及开发环境搭建（完整版）

				
			

			

				

					04-09
				

			

		

		

			
				
Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。
目录
一、 软件及下载 2
二、 集群环境信息 2
三、 机器安装 2
1. 安装虚拟机VirtualBox 2
2. 安装CentOs7 2
四、 基础环境搭建（hadoop用户下） 6
1. 机器名HostName 6
2. 关闭防火墙 6
3. 系统更新及常用工具安装 7
4. IP配置 8
5. JDK安装 8
五、 Hadoop安装及配置 9
1. 安装 9
2. 配置 10
六、 机器集群搭建 12
1. 复制机器 13
2. 设置静态IP 13
3. 设置机器名hostname 14
4. ssh免密登录 14
5. hadoop集群测试 16
七、 Spark & Scala 集群安装 18
1. scala安装 18
2. spark安装 19
3. 测试spark集群 20
八、 Scala开发 20
1、插件下载 20
2、插件安装 21
3、scala开发 22
4、程序执行 22

			
		

	





	

		

			

				
					
Spark Core

				
			

			

				

					wz_TXWY的博客
				

				

					09-26
					
					625
					
				

			

		

		

			
				
Spark CoreCreate Repository
      


全阶段目标




理解 Spark 的特点和作用


能够完成 Spark 的集群搭建和安装


通过入门案例理解 Spark 的编程模型 RDD


了解 RDD 的常见使用







Table of Contents

1. Spark 概述

1.1. Spark是什么...

			
		

	





	

		

			

				
					
Spark-核心编程（一）模拟分布式计算以及RDD基础原理

				
			

			

				

					clearlxj的博客
				

				

					08-03
					
					413
					
				

			

		

		

			
				
Spark核心编程
Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：
RDD : 弹性分布式数据集
累加器：分布式共享只写变量
广播变量：分布式共享只读变量
接下来我们一起看看这三大数据结构是如何在数据处理中使用的。

模拟分布式计算
task
class Task extends Serializable {

    val datas = List(1, 2, 3, 5)

    val logic: Int => In

			
		

	





	

		

			

				
					
实验项目：Virtual Box/Linux/Hadoop/Spark环境配置实验报告

					
最新发布

				
			

			

				

					qq_45754768的博客
				

				

					11-30
					
					419
					
				

			

		

		

			
				
保证主机的快速运行，减少不必要的垃圾安装程序，偶尔使用的程序，或者测试用的程序在虚拟机上运行；实验结果：安装并配置Virtual Box/Linux/Hadoop/Spark成功，并熟悉使用VMware及VirtualBox的流程。熟悉环境配置的过程，学会自主安装配置Virtual Box/Linux/Hadoop/Spark。Hadoop正在启动，不能更改版本，关闭以后改了一下设置，就可以正常使用了。设置的是32位，但是下载的ubuntu是64位，所以改了一下设置里的版本。

			
		

	





	

		

			

				
					
【曲折版】配置spark环境（含前期的虚拟机virtualbox、ubuntu系统、Hadoop布局、Java环境配置等）

				
			

			

				

					SophiaSSS的博客
				

				

					07-11
					
					1387
					
				

			

		

		

			
				
看MOOC慕课网上的spark课程，首先配置spark环境。
spark需要与Hadoop共同协作，所以在安装spark之前要先安装Hadoop，而spark和Hadoop又基于Java语言，所以在Hadoop之前需要先配置Java环境。
然后问题又来了，整个spark、Hadoop运行环境，在非Windows系统上运行较佳，所以还得先装虚拟机和虚拟系统。。。
下面从前到后按步骤来：
本教程由厦门...

			
		

	





	

		

			

				
					
手把手用虚拟机搭建spark集群

				
			

			

				

					LESLIEZX的博客
				

				

					03-20
					
					1557
					
				

			

		

		

			
				
配置spark集群


安装虚拟机和ubuntu环境

点击此链接下载VirtualBox虚拟机，按照提示正常安装。
打开VirtualBox软件，点击管理的全局设定；点击常规，更改默认虚拟电脑位置即把虚拟环境放在哪。具体图示如下：


新建虚拟环境，点击新建，输入环境名称，类型和版本，按下图填写即可；点击下一步，内存大小我选取的是1500(本机运行内存为8gb)，点击下一步；现在创建虚拟硬盘，点...

			
		

	





	

		

			

				
					
VirtualBox+Centos7+Hadoop2.6.0+scala-2.11.8+spark2.2.0搭建spark集群环境

				
			

			

				

					yongge1981的专栏
				

				

					12-07
					
					843
					
				

			

		

		

			
				
最近想做spark开发，于是就动手搭建spark集群环境，由于没有服务器可用，只能采用在个人pc上采用虚机这种形式，捣鼓了两天终于将spark集群搭建起来了，先将详细的搭建过程做一下记录，以备之后查询。如果你不小心看到来了这篇文章，希望能给你带来帮助。但是，就本人观读别人笔记的经验，多半还是会有问题，毕竟每个人所具备的软硬件环境不可能完全一样，搭建过程中的软件安装流程也不可能完全一样。...

			
		

	





	

		

			

				
					
Vbox Ubuntu spark大数据可视化实验

				
			

			

				

					weixin_52985165的博客
				

				

					10-28
					
					1418
					
				

			

		

		

			
				
Vbox Ubuntu spark大数据可视化实验

			
		

	





	

		

			

				
					
VirtualBox安装与Hadoop伪分布式环境搭建指南

				
			

			

				

					
				

			

		

		

			
				
"本教程详细介绍了如何在VirtualBox上搭建Hadoop的伪分布式环境，涵盖了从VirtualBox的安装、虚拟机的创建、Ubuntu系统的安装、增强功能的安装、文件的复制、SSH无密登录的配置、Java环境的安装，到Hadoop的安装以及...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值