Ubuntu14.04下单机版Spark的部署

基于Vmware Workstation上的hadoop集群搭建Spark集群 在本博客中,总结了如何在前一篇博客在Windows 7上利用Vmware Workstation搭建Ubuntu kylin 14.04的hadoop集群成功的基础上,安装Scala,部署Spark,配置Spark搭建Spark集群的详细步骤。 阅读详情

在写本篇博客之前,我也是查阅了许多资料,从官方文档到国内外多名网友的教程,但他们写的不是那么的具体,以至于在实际部署的时候遇到了好几个麻烦,浪费了很多时间,但这样一来二去也算是对Spark有了一个比较浅显的初步认识,因祸得福了吧。
废话不多说了,直接上干货。
本博文所使用的系统为Ubuntu 14.04 64位

安装
  • 安装JDK,这一步我在这里就不再赘述了,想必稍微有点开发经验的朋友都早已配置好了
  • 安装scala,scala采用的是函数式编程,上手难度较高,但他是官方推荐的编程语言,所以我在这里也先装上他,以备日后的学习之需。本文采用的开发语言为Python。
    下载scala-2.11.8.tgz,解压到/opt/scala-2.11.8
    下载地址:点我下载
  • 安装Spark
    下载spark-1.6.0-bin-hadoop2.6.tgz,解压到/opt/spark-1.6.0-bin-hadoop2.6
    下载地址:点我下载
    这里附上图,需要选择一些选项:
    这里写图片描述
环境变量配置
  • sudo gedit /etc/profile
    在文件末尾加上如下配置语句:

    
    # for scala environment 
    
    export SCALA_HOME=/
Spark+Hadoop全链路实战:Ubuntu14.04环境搭建与MLlib评估落地 Apache Spark 是基于内存的分布式计算引擎,其核心依赖于 Hadoop 生态(尤其是 HDFS 和 YARN)提供存储与资源调度能力。理解 SparkContext 初始化、RDD 行为、以及与 Hadoop 版本的二进制兼容性(如 spark-2.4.4-bin-hadoop2.7),是避免 NoClassDefFoundError 等运行时异常的关键。技术价值在于构建可复现、可验证、可扩展的离线分析 pipeline;典型应用场景包括 WordCount 等 ETL 任务,以及基于 MLlib 阅读详情

相关推荐

Hadoop 2.7.7 + Spark 2.4.4 Ubuntu 14.04 环境搭建避坑指南

大数据开发环境配置是分布式计算的基石,其本质是 JDK、Scala、Hadoop 和 Spark 四层组件在特定版本约束下的可信协同。核心原理在于类路径(classpath)加载顺序、协议解析一致性与系统级服务依赖链的严格对齐;技术价值体现在规避因版本错配导致的 ClassNotFoundException、Connection refused 或 UnknownHostException 等高频故障。典型应用场景包括高校大数据实验教学、本地伪分布式调试及老旧教学服务器复现。本文聚焦 Hadoop 数据分析

weixin_29050271的博客 290

全球最大光伏电池缺陷异常检测数据集PVELAD【发布】

下载地址 1:GitHub - binyisu/PVEL-AD 下载地址 2:http://aihebut.com/col.jsp?id=118 下载地址 3:NAVEDownload 竞赛测试系统:Photovoltaic cell anomaly detection | Kaggle 一、简介 PVEL-AD 数据集又叫做EL2021数据集是用于对光伏电池异常缺陷检测方法进行基准测试的数据集,重点是光伏电池工业检测。PVEL-AD包含 36,543 张具有各种内部缺陷和异构背...

苏打水的杯子的博客 2万+

手把手解决GD32H759I-EVAL以太网通信三大坑:IP冲突、端口绑定失败、LWIP内存泄漏

本文针对GD32H759I-EVAL开发板在以太网通信调试中常见的三大难题——IP地址冲突、端口绑定失败和LWIP内存泄漏,提供了详细的实战排障指南。文章深入分析了问题根源,并给出了具体的网络配置、端口管理策略和内存泄漏检测方法,帮助开发者快速定位并解决嵌入式网络通信中的棘手问题,确保系统稳定运行。

weixin_29196315的博客 141

打开LWIP_DEBUG的打印信息调试

在lwip 2.1.2的版本,打开的debug 调试的步骤: 1.在debug.h 文件中找到debug打印的定义 默认LWIP_DEBUG这个宏没有定义, 2.在lwipopt.h 文件中或者其他文件定义 一下LWIP_DEBUG这个宏, 3.在opt.h 中可以打开各种宏的调试信息, /* --------------------------------------- ---------- Debugging options ---------- ---------...

haidscs的博客 9883

Gitlab+Jenkins+Docker+Harbor+K8s+Rancher集群搭建CICD平台

本文以诺依项目为例详细记录了Kubernetes集群的部署过程以及配套DevOps环境的搭建。主要内容包括:1) 配置8个节点的软硬件环境;2) 基础环境准备(网络、防火墙、Docker等);3) 三节点Kubernetes集群部署;4) GitLab代码仓库安装;5) Harbor私有镜像仓库搭建;6) Jenkins持续集成工具配置;7) 基于若依项目的CI/CD实践;8) Rancher集群管理工具部署。

hickman2023的博客 1207

从零开始做对容量规划:一文讲透 SAP Greenfield sizing 与 Quick Sizer 落地方法

摘要 SAP项目早期硬件规划面临业务细节缺失的挑战,Greenfield sizing方法通过Quick Sizer工具将业务需求转化为硬件资源需求。该方法聚焦主要负载驱动因素而非精确预测,采用标准化问卷形式输入并发用户数、业务处理量等参数,输出内存、CPU等资源需求。关键步骤包括选择正确的Quick Sizer版本、创建sizing项目、参考SAP基准测试和认证目录校准结果,最终将需求交由硬件厂商落地。该方法特别适用于缺乏历史数据的新系统部署,帮助在不确定性中建立可控的容量规划模型,避免资源浪费或性能不足

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 218

【DRAM存储器六十六】DDR5介绍--训练相关之CA/CS Training

详述DDR5 CA/CS training过程细节

highman110的博客 203

CloudCompare 二次开发(9)——半径滤波

基于PCL对CloudCompare软件进行二次开发,实现的算法功能是半径滤波

点云侠的博客 1401

Video Diffusion Models:基于扩散模型的视频生成

Diffusion Models专栏文章汇总:入门与实战 前言:扩散模型已经被广泛运用到图像生成、image-to-image转换、时间序列生成、3D点云生成、文本生成、音频生成等领域,谷歌研究院最新的研究成果成功将diffusion models运用到视频生成领域。 目录 模型结构 分解时空体系联合训练 梯度条件法 恐怖的实验结果 论文和代码 个人启发 个人疑问? 模型结构 在前面的博文中,我详细介绍了为什么绝大部分的diffusion models都使用Unet结构.

沉迷单车的追风少年 6672

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

上一篇: Git忽略规则及.gitignore规则不生效的解决办法
下一篇: 对于Hadoop和Spark的一些浅显认识
predict_wise
博客等级 码龄12年 13粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值